ETL之Kettle学习与实践
文章平均质量分 71
vaser
这个作者很懒,什么都没留下…
展开
-
完美解决Kettle导数据库产生的中文乱码
如果公司内一开始没有好好规划数据库建设,那么后期可能存在多种字符集的数据库实例。在做数据仓库或者来回导数据的时候,因字符集导致中文乱码问题困扰着不少人。网上有很多前辈们总结的解决中文乱码的方案,关于使用kettle如何解决也有一两篇谈到在建数据库连接时加characterEncoding来解决。我昨晚找到另外一种方式来跟大家分享: 经过对源码搜索”encoding“,找一句注释,发...原创 2012-05-13 00:05:54 · 1013 阅读 · 0 评论 -
Kettle环境变量在ETL工程上的应用
好久没更新博文,最近临近离职,事情少了,有空停下来总结总结这段时间的东西。 今天先记录下Kettle环境变量的应用。 一个好的环境变量的使用,在业务变更或者环境变动后,只需要很少工作量的修改即可完成。我们把变量分成系统环境变量和业务变量,系统环境变量是指那些在ETL中指定的系统级资源配置,如数据库信息、日志文件路径等等,这些变量一旦设定,不会经常变动;业务变量指跟当前E...原创 2014-01-02 00:33:03 · 270 阅读 · 0 评论 -
emoji字符无法写入Mysql数据库问题
最近发现Kettle的ETL中一直在报错,查看日志发现有些字无法入库,类似以前遇到的数据源与目的数据库字段字符集不同导致的一样;但这个是从游戏接口日志文件读取的,字符集统一都是utf8,不应该是上述情况导致。错误日志如下INFO 24-12 18:39:44,257 - Column types: string,smallint,string,string,string,string,i...原创 2014-01-18 19:59:52 · 969 阅读 · 0 评论 -
Kettle5.0.1配置CDH4
1.修改$KETTLE_HOME/plugins/pentaho-big-data-plugin下的plugin.properties将hadoop配置路径由 active.hadoop.configuration=hadoop-20 改为 active.hadoop.configuration=cdh42 2. 将服务器上hadoop配置文件core-site.xml、hdfs-s...原创 2014-08-01 21:48:19 · 194 阅读 · 0 评论 -
关于Kettle更新Greenplum&Postgresql出错问题
今天遇到一个比较奇葩的事,在Kettle更新Greenplum&Postgresql时会出以下错误: 2014/08/08 11:08:15 - Insert / Update.0 - ERROR (version 4.2.1, build 1 from 2012-11-22 19.15.47 by Administrator) : Unexpected error2014/...原创 2014-08-08 19:30:09 · 1248 阅读 · 0 评论