weixin_45116412的博客

【实验目的】利用Kettle的“Excel输入”，“表输出”，“Microsoft Excel 输出”组件和“Error handing of step”跳，实现异常数据的分流。【实验原理】通过“Excel输入”读入表格的记录，其中，日期格式为多种格式的。然后通过“表输出”保存日期格式正确的记录，再通过“Error handing of step”跳和“Microsoft Excel 输出”组件，把日期格式不正确的记录输出到Excel表格。【实验步骤】一、创建转换1．点击，在下拉菜单

【实验目的】利用Kettle的“拆分字段”，“字段选择”，“值映射”“JavaScript代码”组件，实现字段的拆分、合并、值映射。【实验原理】利用“拆分字段”将表格的<课程大类>字段拆分为<课程大类>和<课程大类>两个字段；【实验步骤】一、创建转换1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。2．我们在新建的转换文件上开始可视化编程。需要的组件如下图所示。选择好组件好，按下图所示

【实验目的】利用Kettle的“过滤记录”，“字符串替换”，“字符串操作”组件，实现记录的过滤，字符串替换及字符串的去空格功能。【实验原理】通过“过滤记录”对单元格为空的记录进行过滤，然后通过“字符串替换”指定替换单元格中某些特定内容，再通过“字符串操作”实现字符串的去空格功能。【实验步骤】一、创建转换1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。2．我们在新建的转换文件上开始可视化编程。需要的组件如下图所示。选择好

【实验目的】利用Kettle的“分组”，“JavaScript代码”，“字段选择”组件，实现数据质量统计。【实验原理】过“JavaScript代码”对表格的记录进行质量分类，然后通过“字段选择”生成带质量标志位字段的数据，再通过“分组”统计数据的质量问题。【实验步骤】一、创建转换1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。2．我们在新建的转换文件上开始可视化编程。需要的组件如下图所示。选择好组件好，按下图所示连接好

【实验目的】利用Kettle的“自定义常量数据”，“流查询”，“计算器”“ Microsoft Excel 输出”组件，实现参照表清理数据。【实验原理】利用“流查询”将对比参照表和源数据，再利用“计算器”计算出相似度；【实验步骤】一、创建转换1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。2．我们在新建的转换文件上开始可视化编程。需要的组件如下图所示。选择好组件好，按下图所示连接好组件。主要组件为“自定义常量数据”，“

【实验目的】利用Kettle的“去除重复记录”组件，实现去除重复数据。【实验原理】通过“阻塞数据直到步骤都完成”对多张表格的外键进行排序，然后通过“记录集连接”进行多表连接，再通过“字段选择”选择合适的字段输出到表格。【实验步骤】一、创建转换1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径2．我们在新建的转换文件上开始可视化编程。需要的组件如下图所示。选择好组件好，按下图所示连接好组件。主要组件为excel input，

【实验目的】利用Kettle的“阻塞数据直到步骤都完成”，“检测空流”，“中止”等组件，实现Kettle转换流程的控制。【实验原理】“检测空流”组件可以检测所在转换的输入数据，如果整个转换没有输入数据，通过“中止”组件终止整个转换的流程。在存在数据输入的情况，为了能让数据输出，需要和“阻塞数据直到步骤都完成”配合使用。当所有数据都已经从上个步骤“字段选择”读取完毕后，通过“阻塞数据直到步骤都完成”使能打开数据通道，进入到“Microsoft Excel 输出”输出数据到表格。【实验步骤】

【实验目的】利用Kettle的“追加流”等组件，完成多个数据源的合并。【实验原理】通过“字段选择”选择要最终输出的字段到下一个步骤“追加流”（实验中必须保证每个数据源经过字段选择后，输出的字段都是一致的），再通过“追加流”设置2个数据源的合并顺序，然后通过“追加流”进行多个据源的合并。【实验步骤】一、创建转换1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。2．我们在新建的转换文件上开始可视化编程。需要的组件如下图.

【实验目的】利用Kettle的“生成随机数”，“JavaScript代码”组件，生成测试数据。【实验原理】通过“生成随机数”生成随机0~1的小数，随机的字符串，随机的整数。再利用“JavaScript代码”编写代码处理随机的数或字符串，输出一定范围的小数，日期和有一定规律形式的整数。【实验环境】操作系统：Windows10 kettle版本：7.0.1或以上版本【实验步骤】一、创建转换1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存

【实验目的】利用Kettle的“表输入”，“表输入出”，”JavaScript代码”组件，实现数据全量更新【实验原理】通过“表输入”对mySQL表格的数据读入，然后通过“JavaScript代码”更新抽取数据的时间，再通过“表输入出”保存表格到mySQL数据库。【实验环境】操作系统：Windows10 kettle版本：7.0.1或以上版本【实验步骤】一、创建转换1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。

【实验目的】利用Kettle的“表输入”，“表输入出”，”删除”，“插入/更新”组件，实现数据更新。【实验原理】通过“表输入”对mySQL表格的数据读入，然后通过“删除”删除数据，再通过“插入更新”改变处理标志为“已处理”。【实验环境】操作系统：Windows10 kettle版本：7.0.1或以上版本【实验步骤】一、创建转换1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。2．我们在新建的转换文件上开始可视

【实验目的】利用Kettle的“表输入”，“插入/更新”，组件，实现数据更新。【实验原理】通过“表输入”对mySQL表格的数据读入，然后通过“表输入”找到变化数据，再通过“插入/更新”保存表格到mySQL数据库。【实验环境】操作系统：Windows10 kettle版本：7.0.1或以上版本【实验步骤】一、创建转换1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。2．我们在新建的转换文件上开始可视化编程。需要

【实验目的】利用Kettle的自定义常量数据，HTTP client，文本文件输出组件，导出html文件。【实验原理】将要导出的网址形成自定义常量，利用http client将其加载到kettle中，最后以html文件输出。【实验环境】操作系统：Windows10 kettle版本：7.0.1或以上版本【实验步骤】一、创建转换1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。2．我们在新建的转换文件上开始可视化编程。

数据转换图;配置：

一，创建时df=pd.DataFrame({'first':dh,'second':dt})dfdf=pd.DataFrame(zip(dh,dt),index=dh.index)df

通过使用正则表达式配置“Excel输入”组件中的通配符，实现多个Excel文件合并。