在学习了DAMA数据管理相关知识后,开始实战ETL过程,我使用Kettle(现改名PDI)工具,图形化完成复杂的数据提取、转化、加载过程。阿里DataX也可以尝试。
DataX-web学习网址数据同步工具—DataX—Web部署使用_datax-web-CSDN博客
DataX-web逻辑以及使用框架
关于Kettle工具的学习网站上有很多相关资源,我参考了以下链接进行学习的:大数据ETL开发之图解Kettle工具(入门到精通)-CSDN博客
简介、安装、界面等介绍这里跳过,从核心概念开始
一、核心概念
二、两种设计
Kettle工具分为两种设计——转换、作业
区别在于转换是并行调度——所有工作同时开始同时进行,作业是串行调度——每一工作按顺序执行。
转换包括步骤(控件)、跳;作业包括作业项、作业跳
步骤:输入控件、输出控件、转换控件、其他控件
作业项:开始作业项、作业项(除开始外的作业项)
作业跳:无条件的、结果为真的、结果为假的
区别:
其他控件和作业项我感觉在应用上面没有太大区别,就是所包含操作简单或复杂;
跳与作业跳主要是在传输内容上不同,跳传输数据行,是数据流,数据行可在此缓存,作业跳传输结果对象,是步骤流,前一作业完成后即发出一个结果对象
三、元数据
这是DAMA里面的一个概念,定义理解为一类描述所需数据的数据
在这里即可理解为表的字段名,每一字段的属性等
后续会结合实操详细介绍转换控件、其他控件以及一些复杂组合问题。