Kettle基本使用说明

Kettle安装步骤：

1. Kettle官网下载Kettle安装包：pdi-ce-8.3.0.0-371.zip
2. 解压到任意路径，windows下执行spoon.bat，linux下执行spoon.sh即可启动kettle

 

Kettle-SequoiaDB插件介绍：

1. Kettle-SequoiaDB插件主要是方便用户在不同数据源之间做数据的迁移转换

 

Kettle_SequoiaDB插件使用方法：

1、打开kettle(data-integration)⽬录,进⼊plugins⽂件夹

2、新建⽂件夹kettle-sequoiadb-plugin

3、进⼊新建的kettle-sequoiadb-plugin中，新建lib⽂件夹，并将SequoiaDB 

驱动包sequoiadb-driver-xxx.jar拷⻉到lib⽂件夹中

4、将kettle-sequoiadb插件的jar包拷⻉到kettle-sequoiadb-plugin中

5、执行spoon.bat重启kettle

 

本说明文档中使用SequoiaDB/MySQL为对象进行说明，因此这里说明一下SequoiaDB/MySQL进行数据迁移所需的其他步骤：

1. 安装启动MySQL，如5.7.29版本MySQL（需授予远程连接的权限）
2. 下载MySQL相关插件，如mysql-connctor-java-5.1.48.jar,并将其放到目录data-integration/lib下
3. 执行spoon.bat重启kettle

 

下面分别以SequoiaDB作为目标端和数据源进行演示：

一、SequoiaDB为目标端，MySQL为数据源

1、Kettle工具栏点击“新建”->“文件”->“转换”

2、点击左侧栏“核心对象”页面中的“输入”，在下拉框列表中选中“表输⼊”，使⽤⿏标拖拽到右侧⾯板中

3、点击左侧栏中“Big Data”，⿏标先选中右侧⾯板中的“表输入“，然后⿏标双

击左侧栏中的“SequoiaDB Output”，两个步骤关联成功，如下图：

4、右侧面板中，双击“表输入”，选择“新建”，“选择类型”选择“MySQL”，填写相关参数后点击“测试”按钮测试连接正常后点击“确认”，如下图：

5、点击“获取SQL查询语句”，在弹出的数据库中选择自己需要导出的表，点击“确定”

注意：在选择表时，需右键-“生成SQL”-“清除缓存”，否则每次获取的SQL查询语句都是一样的

6、在弹出“包含所有字段”时，选择“是”，然后点击“确定”回到面板

7、右侧⾯板双击“SequoiaDB Output图标”，在弹出的输⼊框内输⼊各种连接参数，并测试连接。

8、点击“Output”，填写集合空间名和集合名

9、点击“Fields”，点击“Get Fields”获取到所有相关字段

10、参数输入完毕，点击“确定”

11、点击下图中红色标注的按钮，弹出执行界面，点击“启动”，保存转换到一个目录

12、进入SequoiaDB shell，查询集合下的数据，数据导入成功

二、SequoiaDB为数据源，MySQL为目标端

1、操作步骤与SequoiaDB作为输出源类似。

2、区别是作为数据源时要⼿动输⼊包含的字段和选择字段类型。