核心组件
分类
-
勺子(Spoon)
-
是一个图形化界面,可以基于此界面开发转换和作业。
- 最常用的组件
-
-
平底锅(Span)
- 利用Span可以用命令行的形式执行由Spoon编辑好的转换(Trans)
-
厨房(Kitchen)
- 利用Kitchen可以用命令行的形式执行由Spoon编辑的好的作业(Job)
-
菜单(Carte)
- 轻量级的Web容器,用于创建专用、远程的ETL Server
运行平台
- Linux使用xxx.sh
- Windows使用xxx.bat
连接数据库
工作中主要连接mysql所以此处使用JDBC连接mysql数据库
-
1.获取mysql-connector-java.jar包
-
2.将mysql-connector-java.jar包放于data-intergration\lib目录下
-
3.打开spoon
-
4.在左侧主对象树窗口新建一个转换或者作业
-
5.在新建的对象上右键新建数据连接或者在DB目录上右键新建
-
6.在数据库连接弹窗中选择【一般】
-
7.在连接类型中选择【MySQL】
-
8.在连接方式中选择【Native(JDBC)】
-
9.在连接名称中输入链接名称
-
可根据自己公司或者自己的命名习惯进行命名
- 比如:mysql_local_case
-
-
10.设置栏中填充数据库连接参数
-
11.打开“选项”,在右边“命名参数”中填加characterEncoding,值为utf8
- 此举用以预防中文乱码问题
-
12.点击下方的【测试】按钮,若配置信息正确就会弹出连接成功的提示,否则需要根据提示修改配置信息
使用JDBC链接maxCompute
-
1.获取JDBC驱动
- https://github.com/aliyun/aliyun-odps-jdbc/releases?spm=a2c4g.11186623.0.0.1dc87268G24roo
-
2.将获取的jar包存放于data-intergration\lib目录下
-
4.在左侧主对象树窗口新建一个转换或者作业
-
5.在新建的对象上右键新建数据连接或者在DB目录上右键新建
-
6.在数据库连接弹窗中选择【一般】
-
7.在连接类型中选择【Generic database】
-
8.在连接方式中选择【Native(JDBC)】
-
9.在连接名称中输入链接名称
-
可根据自己公司或者自己的命名习惯进行命名
- 比如:maxCompute_<案例名称>
-
-
10.设置栏中填充数据库连接参数
-
1.“Dialect”设置为“Hadoop Hive 2”
-
2."自定义连接 URL"设置为jdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name>
-
参数说明
-
<maxcompute_endpoint>为MaxCompute服务所在区域的Endpoint
- 例如,华东1(杭州)区域的外网Endpoint为http://service.cn-hangzhou.maxcompute.aliyun.com/api
- 详情:https://help.aliyun.com/document_detail/34951.htm?spm=a2c4g.11186623.0.0.1dc87268G24roo#concept-m2j-h1y-5db
-
<maxcompute_project_name>为MaxCompute项目空间名称
-
useProjectTimeZone为是否使用MaxCompute项目空间的时区
-
-
举例
- jdbc:odps:http://service.cn-hangzhou.maxcompute.aliyun.com/api?project=test_project&useProjectTimeZone=true;
-
-
3.“自定义驱动类名称”设置为com.aliyun.odps.jdbc.OdpsDriver
-
4.“用户名”设置为项目空间的AccessKey ID
-
5.“密码”设置为项目空间的AccessKey ID 对应的AccessKey Secret
-
-
11.点击下方的【测试】按钮,若配置信息正确就会弹出连接成功的提示,否则需要根据提示修改配置信息