Java kettle 数据清洗_kettle 使用

软件设置

配置Java环境,最好配置JAVA1.7以上

处理之后的数据中文乱码

开发库和测试库是同一个mysql数据库服务器下不同的shemas而已，最后导到测试库的数据库出现中文乱码。

然后就开始百度了：

添加characterEncoding为utf8的设置，可以看到数据源连接的高级选项中都已经显示的制定字符集为utf8，但是文本文件输出和插入数据都是乱码；

数据库字符集都是utf8的，我试着指定为characterEncoding=gbk，然而还是乱码。

最后：

在jvm的启动参数中，添加参数-Dfile.encoding=UTF-8，乱码问题就解决了(PS:kettle在windows下跑的，然而数据库是utf8，这是个坑)。贴在这里吧，如果你试了很多方法都不行，不妨指定kettle这个程序的字符集。

显示正常

设置数据清洗

sh /home/data/kettle/data-integration/kitchen.sh -file=/home/data/kettle/data-integration/105-106.kjb -logfile=/var/log/kettle.log

执行以上命令即可

遇到驱动报错需要将

window端

需要将MySQL驱动,jar包放到lib目录下 重新启动kettle即可

linux端

需要将MySQL驱动,jar包放到libext/JBDDC目录下 重新启动kettle即可