Kettle（二）差点放弃

因为测试时候速度太慢，不能解决中文乱码，差点放弃了这个工具。

1、简单例子

1、创建一个转换

2、切换到核心对象→输入，选csv输入，或者表输入，并拖到右侧工作区，双击设置
下面是csv输入的设置，注意编码，和数据类型。

下面是表输入，就是从数据库查表输入：
首先需要创建一个数据库连接，然后是编写查询SQL语句，最后预览一下确认。

3、打开输出，选择表输出，或者是插入/更新（更新的方式速度极慢，约40条/秒，就是差点放弃的原因）
同样拖动右侧工作区，按住shift点击上面的输入控件，拉到新建的输出控件，可以看到生成一个箭头。
双击输出控件，同样设置一个数据库连接，和一个目标表就可以了。

4、保存，运行就可以了。

2、优化

第一次的时候使用的是插入/更新，速度太慢，所以使用python进行对比，发现pymysql写入速度基本上是1万条/秒，而且代码非常简单。

start = time.time()
df = pd.read_sql('POI', engine)
read_time = time.time()
print('读耗时：',read_time-start)
df.to_sql('POI-bak', engine,index=False, if_exists='append')
print('写耗时：',time.time()-read_time)

因此使用非常多的方式优化Kettle，依然没有办法，后来突然发现是应该用表输入这种方式。按照以下链接进行优化基本上插入/更新没有变化，但是表输入会提高很多起码10倍。实测未优化约500条/秒，优化后约8000条/秒。
主要是几方面：
1、数据库连接，选项，添加参数（主要）

defaultFetchSize:5000
rewriteBatchedStatements:true
useServerPrepStmts:false
useCursorFetch:true
useCompression:true

2、修改表输入记录限制
3、转换-设置-杂项，记录集合里的记录数。
参考：
ETL工具KETTLE表输入表输出提速5-10倍
Kettle提高表输出写入速度（每秒万条记录）