kettle安装使用

下载kettile

安装kettle前必须要装了java，如果系统内存大于4G，最好装64位的
下载链接

解压之后

根目录下找到Spoon.bat文件，用编辑器打开，找到下面代码

PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m"

-Xms：设置JVM初始内存
-Xmx：设置JVM最大可用内存
-XX:MaxPermSize：设置JVM最大允许分配内存，按需分配

总之这几个值越大，kettle处理数据的效率越高
但是 -Xmx必须小于等于系统内存的1/4，要不然会报错，其他两个选项不大于-Xmx
注意 当系统内存为4G时-Xmx不能大于1G，当系统内存为8G或更大时，java版本必须是64位的才能识别出来，此时-Xmx可以为2G或更高

运行

双击Spoon.bat即可，会显示如下界面

如果没有显示，则可以运行SpoonDebug.bat，生成的错误日志在SpoonDebug.txt中

连接数据库

连接数据库前必须要把对应的jdbc放入lib文件夹中

效率

kettle把数据从数据库迁移到hdfs时
把jvm空间设置高一些1024，2048，1024，效率要比sqoop高