ETL(二):表达式组件的使用

13 篇文章 6 订阅

1、需求如下:

在这里插入图片描述

2、在进行ETL开发之前,先创建一个edw用户。

3、创建一个test2文件夹,用于完成本次项目

  • 每个作业相当于是一个工程project,创建文件夹方便我们管理项目,同时ETL开发流程步骤太多,放在同一个文件夹下显得更为合适了。

4、ETL开发流程如下

1)定义源表

在这里插入图片描述

2)定义目标表

① 给目标表重命名;
在这里插入图片描述
② 自定义目标表中的列字段;
在这里插入图片描述
③ 点击生成并执行sql,才能真正在edw用户下创建这个edw_EMPLOYEES表;
在这里插入图片描述
④ 在edw用户下查看该表(此时只是有表结构,没有数据);
在这里插入图片描述

3)创建映射

① 创建映射
在这里插入图片描述
② 将源表和目标表都拖拉到右侧灰色区域;
在这里插入图片描述
③ 在源表和目标表之间添加一个“表达式转换”组件;
在这里插入图片描述
④ 双击“表达式转换组件”,点击“端口”,出现如下界面后,便可进行相应字段的转换操作了;
在这里插入图片描述
⑤ 将first_name与last_name合并为一个字段name;
在这里插入图片描述
对图中的【I】和【O】做一个说明:
在这里插入图片描述
⑥ 将Address1的前6个字符插入到Address2中;
在这里插入图片描述
⑦ 增加数据抽取时间;
在这里插入图片描述
⑧ 最终映射关系如下:
在这里插入图片描述
⑨ 点击CTRL+S,保存一下,界面左下角出现如下界面,表示创建的映射没有问题;
在这里插入图片描述

4)定义任务

① 在定义任务之前,先点击连接–>再点击关系;
在这里插入图片描述
② 定义一个连接源数据库的连接对象(数据来源);
在这里插入图片描述
③ 定义一个连接目标数据库的连接对象(数据去向);
在这里插入图片描述
上面两步完成以后,点击关闭即可;
④ 创建任务:点击任务–>点击创建;
在这里插入图片描述
⑤ 当出现下表时,给任务(又叫会话)命名,点击创建;
在这里插入图片描述
⑥ 当出现如下界面,选中m_ora_ods_employees,再点击确定;
在这里插入图片描述
上述操作完成后,点击完成;
⑦ 修改源表的连接对象;
在这里插入图片描述
⑧ 修改目标表的连接对象;
在这里插入图片描述
修改后的效果如下:
在这里插入图片描述
⑨ 用CTRL+S保存一下,当出现如下界面,证明任务创建成功;
在这里插入图片描述

5)创建工作流:用来调度任务

① 创建一个工作流;
在这里插入图片描述
② 当出现如下界面后,定义一个工作流的名称,点击确定;
在这里插入图片描述
③ 将工作流与任务进行连接;
在这里插入图片描述
④ 点击CTRL+S保存,当出现如下界面,证明工作流创建成功;
在这里插入图片描述
⑤ 启动工作流:
在这里插入图片描述

  • 注意:一旦启动工作流了,任务也就被调度了,于是任务就开始执行映射,映射被执行了,目标表中也就有了数据。

⑥ 上述操作会自动帮我们打开M客户端;
在这里插入图片描述

  • M客户端主要是用于监控任务的,详细的日志信息可以帮助我们找出自己在哪里犯过错误。

⑦ 此时,去edw用户下查看edw_employees表中已经有了数据;
在这里插入图片描述

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据分析与统计学之美

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值