转换和作业例子

1.转换例子

       转换是ETL解决方案中重要的组成部分之一，主要用于数据的抽取、转换以及加载等操作，其本质是一组图形化的数据转换配置结构。一个转换包括一个或多个步骤，如读取文件、过滤输出行、数据清洗或将数据加载到数据库中等步骤。转换中的步骤是通过跳连接的。跳定义了一个单向通道，允许数据从一个步骤向另一个步骤流动。在Kettle中，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。

       下面是转换的例子：

       双击Kettle目录下的Spoon.bat脚本，启动Kettle工具，在工具栏处选择“文件”->“新建”->“转换”命令，创建一个转换，名称默认是“转换1”，如图1-1.

 

 图1-1 创建转换

        选择“文件”->“保存”，对转换进行重命名以及选择转换保存路径，重命名转换为example1，如图1-2.

 图1-2 重命名转换

       图1-2中，主对象树中的结点主要用于显示当前转换的运行配置参数、数据库连接、步骤以及节点连接（跳）等信息。单击 Kettle树形列表的核心对象，切换到转换的核心对象界面，如图1-3.

图1-3 转换的核心对象 

        从图1-3可以看出，核心对象总保函Kettle中所有的转换步骤（或转换控件），后续设计转换操作时，可直接到核心对象中查找所需的转换步骤。

       在Kettle主界面的工作区右击空白处，从弹出的快捷菜单中选择“新建注释”命令，添加注释内容；单击“输入”，将“表输入”拖拽到Kettle工作区；单击“输出”，将“Excel输出”拖拽到Kettle工作区；按住Ctrl键的同时选中“表输入”和“Excel输出”并右击，从弹出的快捷菜单中选择“新建节点连接”命令，在弹出的窗口中选择“起始步骤”和“目标步骤”，单击“确认”按钮，建立“表输入”向“Excel输出”的连接，具体效果如图1-4.

 图1-4 简单的转换例子

 从图1-4的注释可以看出，这个简单的转换例子是实现从数据库中读取数据，并把数据写到Excel中，该转换中包含了步骤、跳、注释以及数据行。

 2.作业例子

        一个作业包含一个或者多个作业项，并且这些作业项都是以某种顺序进行执行的。作业的执行顺序由作业项之间的跳和每个作业项的执行结果决定。

       下面是作业的例子：

       双击Kettle目录下的Spoon.bat脚本，启动Kettle工具，在工具栏处选择“文件”->“新建”->“作业”命令，创建一个作业，名称默认是“作业1”，如图2-1.

 图2-1 创建作业

        选择“文件”->“保存”，对作业进行重命名以及选择转换保存路径，重命名转换为example_job1，如图2-2.

 图2-2 重命名作业

        在图2-2中，主对象树中的节点主要用于显示当前作业的运行配置参数、数据库连接以及作业项目等信息。单击Kettle树形列表的核心对象，切换到作业的核心对象界面，如图2-3.

 图2-3 作业的核心对象

        从图2-2中可以看出，作业的核心对象中包含Kettle所有作业的作业项（或作业控件），后续设计作业操作时，可直接到作业核心对象中查找所需的作业项。

        在Kettle主界面的工作区右击空白处，从弹出的快捷菜单中选择“新建记录”命令，添加注释内容；单击“通用”，将Start和“作业”依次拖拽到Kettle工作区；单击“邮件”，将“发送邮件”拖也拽到Kettle工作区；然后同时选中Start和“作业”并右击，从弹出的快捷菜单中选择“新节点”命令，建立Start和“作业”之间的连接，再通过同样的操作将“作业”与“作业”、“作业”与“发送邮件”之间也建立连接，具体效果如图1-4.

 

 图1-4 简单的作业例子

        对图1-4中的作业项进行重命名，如图1-5所示。

 图1-5 对作业项进行重命名

        从图1-5中可以看出，这是一个加载数据到数据仓库的作业，改作业中包含作业项、作业跳以及多路径和回溯。

------------------------------------------------------------

例子所有内容均参考清华大学出版社大数据技术与应用丛书《数据清洗》——黑马程序员/编著，仅仅是个人对书中知识的理解下编写的例子，未侵犯书籍的版权。