Kettle入门（四）

核心组件

分类

• 勺子（Spoon）

  • 是一个图形化界面，可以基于此界面开发转换和作业。

    • 最常用的组件

• 平底锅（Span）

  • 利用Span可以用命令行的形式执行由Spoon编辑好的转换（Trans）

• 厨房（Kitchen）

  • 利用Kitchen可以用命令行的形式执行由Spoon编辑的好的作业（Job）

• 菜单（Carte）

  • 轻量级的Web容器，用于创建专用、远程的ETL Server

运行平台

• Linux使用xxx.sh
• Windows使用xxx.bat
  

连接数据库

工作中主要连接mysql所以此处使用JDBC连接mysql数据库

• 1.获取mysql-connector-java.jar包

• 2.将mysql-connector-java.jar包放于data-intergration\lib目录下

• 3.打开spoon

• 4.在左侧主对象树窗口新建一个转换或者作业

• 5.在新建的对象上右键新建数据连接或者在DB目录上右键新建

• 6.在数据库连接弹窗中选择【一般】

• 7.在连接类型中选择【MySQL】

• 8.在连接方式中选择【Native(JDBC)】

• 9.在连接名称中输入链接名称

  • 可根据自己公司或者自己的命名习惯进行命名

    • 比如：mysql_local_case

• 10.设置栏中填充数据库连接参数

• 11.打开“选项”，在右边“命名参数”中填加characterEncoding，值为utf8

  • 此举用以预防中文乱码问题

• 12.点击下方的【测试】按钮，若配置信息正确就会弹出连接成功的提示，否则需要根据提示修改配置信息

使用JDBC链接maxCompute

• 1.获取JDBC驱动

  • https://github.com/aliyun/aliyun-odps-jdbc/releases?spm=a2c4g.11186623.0.0.1dc87268G24roo

• 2.将获取的jar包存放于data-intergration\lib目录下

• 4.在左侧主对象树窗口新建一个转换或者作业

• 5.在新建的对象上右键新建数据连接或者在DB目录上右键新建

• 6.在数据库连接弹窗中选择【一般】

• 7.在连接类型中选择【Generic database】

• 8.在连接方式中选择【Native(JDBC)】

• 9.在连接名称中输入链接名称

  • 可根据自己公司或者自己的命名习惯进行命名

    • 比如：maxCompute_<案例名称>

• 10.设置栏中填充数据库连接参数

  • 1.“Dialect”设置为“Hadoop Hive 2”

  • 2."自定义连接 URL"设置为jdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name>

    • 参数说明

      • <maxcompute_endpoint>为MaxCompute服务所在区域的Endpoint

        • 例如，华东1（杭州）区域的外网Endpoint为http://service.cn-hangzhou.maxcompute.aliyun.com/api
        • 详情：https://help.aliyun.com/document_detail/34951.htm?spm=a2c4g.11186623.0.0.1dc87268G24roo#concept-m2j-h1y-5db

      • <maxcompute_project_name>为MaxCompute项目空间名称

      • useProjectTimeZone为是否使用MaxCompute项目空间的时区

    • 举例

      • jdbc:odps:http://service.cn-hangzhou.maxcompute.aliyun.com/api?project=test_project&useProjectTimeZone=true;

  • 3.“自定义驱动类名称”设置为com.aliyun.odps.jdbc.OdpsDriver

  • 4.“用户名”设置为项目空间的AccessKey ID

  • 5.“密码”设置为项目空间的AccessKey ID 对应的AccessKey Secret

• 11.点击下方的【测试】按钮，若配置信息正确就会弹出连接成功的提示，否则需要根据提示修改配置信息

•