源数据获取

一.Excel输入
1.打开kettle工具，创建转换

2.配置“Excel输入”控件
（1）双击“Excel输入”组件，弹出“Excel输入”对话框，浏览导入Excel文件。单击“浏览(B)…”按钮，在计算机上浏览并导入“物理成绩.xls”文件；添加并编辑Excel文件，单击“增加”按钮，将浏览导入至“文件或目录”输入框中：

（2）单击“工作表”选项卡，设置选中的工作表参数。单击“确定”按钮，将“你的选择”列表选中的“Sheet1”工作表添加至“要读取的工作表列表”表中进行参数设置，“起始行”和“起始列”参数都设置为“0”：
 

（3）单击“字段”选项卡，单击“获取头部数据的字段”按钮，添加字段到“字段”表中设置字段参数：

 

（4）对字段参数进行设置：

 

（5）单击“内容”选项卡：
（6）单击“错误处理”选项卡，可对获取Excel文件时产生的错误处理参数进行设置，检查和定位错误位置，一般按照缺省值配置：

 （7）单击“其他输出字段”选项卡默认即可：

二.生成记录
1.打开kettle工具，创建“生成记录”转换

2.配置“生成记录”控件
（1）双击“生成记录”组件，弹出创建“生成记录”对话框 

（2）在生成记录】对话框中，设置有关参数，生成12条记录的商品销售总额表；确定组件名称，“步骤名称”参数保留默认值；确定表的记录数，“限制”参数设置为“12”：
 

（3）单击“预览§”按钮，弹出“输入预览记录数”对话框，预览记录数采用默认值，单击“确定”按钮。弹出“预览数据”对话框，展示生成记录的数据：
 

三.生成随机数
1.打开kettle工具，创建转换

2.配置“生成随机数”控件
（1）双击“生成随机数”组件，弹出“生成随机值”对话框：

（2）在“生成随机值”对话框中，设置参数，随机生成一组MD5信息授权码；确定组件名称，“步骤名称”参数保留默认值“生成随机值”；设置字段参数，在“字段”表中第1行，设置字段名称和类型；
① 单击“名称”参数输入框，键盘键入“授权码”
②单击“类型”参数输入框，弹出“选择数据类型”对话框，选择“Random Message Authentication Code(HmacMD5)”类型，如下图所示：

（3）在“生成随机数”转换工程中，单击“生成随机数”组件，再单击工作区上方的“预览这个转换图标。弹出“转换调试窗口”对话框，展示生成随机数的数据，如图所示： 

（4）单击“快速启动”按钮，弹出“预览数据”对话框，展示生成随机数的授权码数据：

 

四.获取系统信息
1.打开kettle工具，创建转换

2.配置“获取系统信息”控件
（1）双击“获取系统信息”组件，弹出“获取系统信息”对话框：

 

（2）在“获取系统信息”对话框中，设置参数，获取当月最后一天的时间，以及当前的计算机名称与IP地址等系统信息； 确定组件名称，“步骤名称”参数保留默认值；设置字段参数，在“字段”表中，设置字段参数；
① 设置第1行参数。“名称”参数设置为“当月最后一天”。单击“类型”输入框，弹出“选择信息类型”对话框。选择“本月最后一天的 23:59:59”类型；
② 设置第2行参数。与设置第1行参数类似，第2行参数的“名称”参数设置为“计算机名称”，“类型”参数设置为“主机名”：

（3）单击“浏览记录”按钮，弹出“Enter preview size”对话框，预览记录数采用默认值，单击“确定”按钮。弹出“预览数据”对话框，展示获取系统信息的数据：

 

五.排序记录
1.打开kettle工具，创建转换 

2.配置“排序记录”控件
（1）在“排序记录”转换工程中，单击“核心对象”选项卡，展开“转换”对象，选中“排序记录”组件，并拖曳至右边工作区中。由“Excel输入”组件指向“排序记录”组件，建立节点连接；
（2）双击“排序记录”组件，弹出“排序记录”对话框，在“排序目录”对话框中，设置参数，将“物理”字段的数据按照从低到高进行排序；确定组件名称，“步骤名称”参数保留默认值“排序记录”；确定排序目录，“排序目录”参数保留默认值“%%java.io.tmpdir%%”：

（2）在“排序记录”排序工程中，单击“排序记录”组件，再单击工作区上方的图标预览数据，展示排序后的数据：

 

六.去除重复记录
1.打开kettle工具，创建转换
在去除重复记录（简称去重）之前，必须使用关键字段对数据记录进行排序，确定哪些记录属于重复记录；创建“去除重复记录”转换工程。接着创建“Excel输入”组件，设置参数，导入“期考成绩.xls”文件。
接着创建“排序记录”组件，并由“Excel输入”组件指向“排序记录”组件，建立节点连接：

2.配置“排序记录”控件
双击“排序记录”组件，对“学号”字段按照升序进行排序后预览数据：

 

 

3.配置“去除重复记录”控件
在“去除重复记录”对话框中，设置参数，去除学号相同的记录：

 

由下图可知，一共有55个数据，三个重复数据，最终输出52个数据：
 

七.替换NULL值
1.打开kettle工具，创建转换

2.配置“Excel输入”控件
在Excel输入控件中输入需要替换的excel文件，数据预览如下图所示 

 

3.配置“替换NULL值”控件
（1）在“2019年11月月考英语成绩.xls”文件中，学号为“201709007”的同学没有参加考试，根据规定考试分数将按零分处理，需要使用“替换NULL值”组件，使用“0”替换该同学的英语考试分数；
（2）双击“替换NULL值”组件，弹出“替换NULL值”对话框，选择“选择字段”方式设置字段参数。“选择字段”设置为“√”，并在“字段”表中，对字段的参数进行设置：

（3）在“替换NULL值”转换工程中，单击“替换NULL值”组件，再单击工作区上方的“预览转换”按钮，预览替换NULL值后的数据：