ETL 工具之Talend快速开发(一)

ETL-Talend学习 同时被 2 个专栏收录
1 篇文章 0 订阅
1 篇文章 0 订阅

目录

1、创建JOB

(1)右击 Job Designs

(2)点击创建作业

2、设计JOB

(1)查找 tDBConnection 组件

(2)创建2个tDBConnection组件(点击第一步找到的组件,然后在作业的空白处左击即可)

(3)设置数据库连接类型

(4)2个数据库连通

(5)设计数据库输入、输出组件

(6)同第3步,设置俩个组件的数据库连接类型(设置完成后如下图:)

(7)连接剩余线

(8)设置tMap组件

3、配置上下文(数据库连接信息)

(1)创建上下文

(2)填写数据库相关信息

4、完善JOB

(1)tDBConnection组件应用上下文

(2)tDBInput组件应用上下文

(3)tDBOutput组件应用上下文

(4)配置tMap组件

5、开始本地运行测试

6、如果本地测试成功,即可打包到服务器执行



关于Talend的背景介绍这里就不说明了,详细资料可以查看官网https://www.talend.com/

以下主要说明如何快速使用Talend完成数据的抽取、转换、加载工作

1、创建JOB

(1)右击 Job Designs

(2)点击创建作业

 

 

2、设计JOB

(1)查找 tDBConnection 组件


(2)创建2个tDBConnection组件(点击第一步找到的组件,然后在作业的空白处左击即可)

(3)设置数据库连接类型

(4)2个数据库连通

(5)设计数据库输入、输出组件


 

(6)同第3步,设置俩个组件的数据库连接类型(设置完成后如下图:)

(7)连接剩余线


(8)设置tMap组件


 

3、配置上下文(数据库连接信息)

(1)创建上下文

(2)填写数据库相关信息

添加完成之后如下:

 

4、完善JOB

(1)tDBConnection组件应用上下文


(2)tDBInput组件应用上下文

第5步验证一下是否可以连通,如果可以获取到表结构,则说明连接成功


导出源表的表结构到本地

(3)tDBOutput组件应用上下文


  • 获取目标表的表结构(方法:临时新建一个tDBIput组件,如下图,获取完表结构后删除掉该组件)


  • 导出目标表表结构到本地


  • 删掉该临时组件

(4)配置tMap组件


  • 自动映射俩张表的字段(通常源表与目标表字段名都是完全匹配一致的,这里自动映射很方便,如果不匹配,就需要人为一条一条匹配源表与目标表的字段)

提示:人为匹配方法:点击左边源表字段,拖住到右侧字段列表中与之匹配的字段即可

 

5、开始本地运行测试

6、如果本地测试成功,即可打包到服务器执行

(1)打包

(2)windows执行方法

  • 解压缩打包文件,然后找到bat文件执行

(3)linux后台永久执行方法

  • 将压缩包上传到linux服务器,然后解压
  • 同(2)一样,找到2级目录下的sh文件
  • 命令行启动   nohup sh InfiniteLoop_ngdp_data_run.sh &     

(nohup详细解释可以度娘了解,结合&符号主要是为了满足后台永久挂载不掉线,但是需要注意,退出的时候必须用exit命令,不能直接关闭linux窗口)

  • 命令行退出linux系统  exit
  • 再次登录linux服务器,查看是否后台启动服务: ps -ef | grep java

 


本次更新就到这里了,如果在参考过程中有疑惑的地方欢迎指出,我会尽快检查并完善博文,感谢大家的支持。

  • 5
    点赞
  • 9
    评论
  • 11
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

©️2022 CSDN 皮肤主题:精致技术 设计师:CSDN官方博客 返回首页

打赏作者

迟到_啦

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值