![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kettle
文章平均质量分 70
weixin_74
这个作者很懒,什么都没留下…
展开
-
kettle实验四:基于触发器的CDC案例
【实验目的】1.明白Kettle的“表输入”,“插入/更新”组件背后的基本运行过程,以得到期望值。2.熟练掌握“表输入”,“插入/更新”组件的使用,实现不同数据表数据内容的改变。【实验原理】首先说明各个表的作用:cdc_opt_log表是记录用户对那些数据进行了哪些操作,同时记录该操作是否被处理,拉取成功后,我们需要让系统将cdc_opt_log表中字段名为“cdctype”更新为“已处理”; student_cdc_sync表保存插入操作的增量数据;基于上一个实验的数据更新的实例,基于“插入/更新原创 2021-01-27 08:35:27 · 2827 阅读 · 4 评论 -
kettle实验三:基于HTTP GET请求的导入与导出
【实验目的】1.利用Kettle的“自定义常量数据”,“HTTP Client”组件,获取具有一定结构的网页内容,并使用。2.熟练掌握“自定义常量数据”,“HTTP Client”,“JSON Input”组件的使用,实现网页内容的获取以及解析。【实验原理】通过“自定义常量数据”将需要访问的URL(网页地址)设置为常量,并将该常量传递给“HTTP Client”步骤以获取具有一定结构的网页内容的相应数据,然后使用“JSON Input”对内容进行解析,选取需要的数据,最后使用“Excel输出”步骤传原创 2021-01-27 08:31:54 · 4561 阅读 · 8 评论 -
kettle实验一:Kettle的安装和基本使用
【实验目的】1.掌握jdk以及kettle的环境搭建方法;2.完成kettle的第一个转换实例,并熟练掌握kettle的基本使用。【实验原理】1.安装前准备(1)下载并安装jdk,配置环境变量,并在命令窗口输入java -version 判断是否安装成功(2)安装并成功运行Navicat(3)下载并解压kettle的安装包,双击spoon.bat文件运行2.转换实例如下:读入‘课程信息表.xlsx’文件,输出以‘firstChange.xls’命名的文件3.转换的环境变量和命名参数的配置原创 2021-01-27 08:19:41 · 2745 阅读 · 0 评论 -
kettle实验三:HTML数据的导入和导出
【实验目的】1.利用Kettle的“自定义常量数据”,“HTTP Client”组件,获取网页信息。2.熟练掌握“自定义常量数据”,“HTTP Client”组件的使用,实现获取网页内容数据的目的。【实验原理】通过“自定义常量数据”将需要访问的URL(网页地址)设置为常量,并将该常量传递给“HTTP Client”步骤以获取网页内容的相应数据,最后使用“文本文件输出”步骤传递到本地的网页上进行展示。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.原创 2021-01-27 08:08:35 · 2067 阅读 · 2 评论 -
kettle实验五:使用参照表清理数据
【实验目的】1.利用Kettle的“自定义常量数据”,“流查询”,“计算器”等组件,比对数据并计算出相似率。2.熟练掌握“自定义常量数据”,“流查询”,“计算器”组件的使用,实现数据的比对。【实验原理】通过两个“自定义常数变量”组件分别输入源数据表和参照数据表,使用“流查询”组件进行连接比对,然后通过“计算器”组件计算数据的相似度,进而达到数据处理的目的。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0及以上版本【实验步骤】一、建立转换双原创 2021-01-27 08:05:20 · 2791 阅读 · 0 评论 -
kettle实验:使用作业生成代理键
【实验目的】1.利用Kettle的“START”,“Transformation”,“Success”组件,实现作业的创建与数据仓库生成业务代理键的方法。2.熟练掌握“生成记录”,“增加序列”,“计算器”,“设置变量”等组件的使用,利用Kettle作业实现使用转换计数器生成序列,生成业务代理键的方法。【实验原理】通过“START”设定作业执行的顺序与调度策略,然后通过“Transformation”调度执行相关的转换,再通过“Success”设定作业执行完毕。在此实验中,需要创建两个转换分别给两个“原创 2021-01-27 08:02:46 · 1041 阅读 · 0 评论 -
kettle实验:数据仓库缓慢变化维更新类型2
【实验目的】1、利用Kettle的“维度查询/更新”,“表输入”步骤,实现的转换创建与数据仓库缓慢变化维更新的方法。2、熟练掌握“维度查询/更新”,“表输入”等组件的使用,利用Kettle转换实现数据仓库缓慢变化维更新(类型2)的方法。即业务主体数据发生变化时,用当前最新数据生成新的数据行,保存多个历史版本。【实验原理】通过创建Kettle转换 ,利用“维度查询/更新”,“表输入”等组件,实现数据仓库缓慢变化维更新(类型2),即业务主体数据发生变化时,用当前最新数据生成新的数据行,保存多个历史版本。原创 2021-01-26 08:33:55 · 1517 阅读 · 0 评论 -
kettle实验十八:查找表映射
【实验目的】1.利用Kettle的“合并排序”等组件,构建面向对象分析的数据仓库。2.熟练掌握“排序记录”,“合并排序”,“字段选择”等组件的使用,构建面向对象分析的数据表格。【实验原理】通过“排序记录”对多张表格的外键进行排序,然后通过“记录集连接”进行多表连接,再通过“字段选择”选择合适的字段输出到表格。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0及以上版本【实验步骤】一、建立转换双击spoon.bat打开kettle。(1)点击原创 2021-01-26 08:26:01 · 1172 阅读 · 0 评论 -
kettle实验十七:批量加载
注:‘MySQL批量加载’组件必须在Linux下运行,因为MySQL批量加载时会创建一个命名管道,在Windows下是不支持的,加载工具用的是fifo【实验目的】1.利用Kettle的“生成记录”组件,生成批量数据,利用这些数据实现Kettle在mySQL数据数据进行批量加载。2.熟练掌握“生成记录”,“MySQL 批量加载”,“文本文件输入”等组件的使用,实现Kettle在mySQL数据数据进行批量加载。【实验原理】通过“阻塞数据直到步骤都完成”对多张表格的外键进行排序,然后通过“记录集连接”进原创 2021-01-26 08:20:05 · 2046 阅读 · 4 评论 -
kettle实验十六:作业的创建与定时调度
【实验目的】1.利用Kettle的“START”,“转换”,“成功”组件,实现作业的创建与定时调度。2.熟练掌握“START”,“转换”,“成功”等组件的使用,实现作业的创建与定时调度。【实验原理】通过“START”设定作业执行的顺序与定时调度策略,然后通过“转换”调度执行相关的转换,再通过“成功”设定作业执行完毕。在此实验中,需要创建两个转换分别给两个“转换”调用。其中,第一个转换把课程表的<课程编号>字段删除掉,第二个转换把<课程编号>添加回来。【实验环境】操作系统:原创 2021-01-26 08:14:08 · 5747 阅读 · 1 评论 -
kettle实验十四:数据分流
【实验目的】1.利用Kettle的“字段选择”,“JavaScript代码”,“过滤记录”组件,实现数据分流。2.熟练掌握“JavaScript代码”,“过滤记录”等组件的使用,实现数据分流。【实验原理】通过“JavaScript代码”对表格的“讲师”字段进行分组后分流序,然后通过“过滤记录”等组件输出分流后的数据到表格。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0及以上版本【实验步骤】一、建立转换双击spoon.bat打开kettl原创 2021-01-26 08:06:51 · 2483 阅读 · 0 评论 -
kettle实验十三:发送邮件
【实验目的】1.利用Kettle的“发送邮件”,“自定义常量数据”组件,完成向一个指定的邮箱发送邮件。2.熟练掌握“发送邮件”,“自定义常量数据”组件的使用,完成向一个指定的邮箱发送邮件。【实验原理】通过“自定义常量数据”设置发送邮件的发件人、收件人地址信息,并将这些数据传输给“发送邮件”,通过运行“发送邮件”,最终将邮件发送到收件人邮箱中。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0及以上版本【实验步骤】一、建立转换双击spoon.原创 2021-01-26 08:01:59 · 4743 阅读 · 2 评论 -
kettle实验十二:子转换数据质量统计
【实验目的】1.利用Kettle的“映射输入规范”,“映射输出规范”,“映射”组件,生成转换和作业。2.熟练掌握“映射输入规范”,“映射输出规范”,“映射”,“JavaScript代码”,“分组”等组件的使用,实现调用子转换进行数据质量统计。【实验原理】利用“映射输入规范”,“映射输出规范”构成子转换。然后,通过“映射”组件调用子转换。在子转换中,实现数据的质量统计。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0及以上版本【实验步骤】一、原创 2021-01-26 07:57:23 · 1153 阅读 · 1 评论 -
kettle实验十一:没有数据流入时停止操作
【实验目的】1.利用Kettle的“阻塞数据直到步骤都完成”,“检测空流”,“中止”等组件,实现Kettle转换流程的控制。2.熟练掌握“阻塞数据直到步骤都完成”,“检测空流”,“中止”等组件的使用,实现Kettle转换流程的控制。【实验原理】“检测空流”组件可以检测所在转换的输入数据,如果整个转换没有输入数据,通过“中止”组件终止整个转换的流程。在存在数据输入的情况,为了能让数据输出,需要和“阻塞数据直到步骤都完成”配合使用。当所有数据都已经从上个步骤“字段选择”读取完毕后,通过“阻塞数据直到步骤原创 2021-01-26 07:51:37 · 2465 阅读 · 1 评论 -
kettle实验十:多数据源合并
【实验目的】1.利用Kettle的“追加流”等组件,完成多个数据源的合并。2.熟练掌握“追加流”,“JavaScript代码”,“字段选择”等组件的使用,完成多个数据源的合并。【实验原理】通过“字段选择”选择要最终输出的字段到下一个步骤“追加流”(实验中必须保证每个数据源经过字段选择后,输出的字段都是一致的),再通过“追加流”设置2个数据源的合并顺序,然后通过“追加流”进行多个据源的合并。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0及以上版原创 2021-01-25 09:19:57 · 4554 阅读 · 0 评论 -
kettle实验九:数据质量统计
【实验目的】1.利用Kettle的“分组”,“JavaScript代码”,“字段选择”组件,实现数据质量统计。2.熟练掌握“JavaScript代码”,“分组”等组件的使用,实现数据质量统计。【实验原理】通过“JavaScript代码”对表格的记录进行质量分类,然后通过“字段选择”生成带质量标志位字段的数据,再通过“分组”统计数据的质量问题。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0及以上版本【实验步骤】一、建立转换双击spoon.原创 2021-01-25 09:13:55 · 1506 阅读 · 0 评论 -
kettle实验八:异常数据分流
【实验目的】1.利用Kettle的“Excel输入”,“表输出”,“Microsoft Excel 输出”组件和“Error handing of step”跳,实现异常数据的分流。2.熟练掌握“Excel输入”,“表输出”,“Microsoft Excel 输出”组件和“Error handing of step”跳的使用,实现数据异常数据的分流。【实验原理】通过“Excel输入”读入表格的记录,其中,日期格式为多种格式的。然后通过“表输出”保存日期格式正确的记录,再通过“Error handin原创 2021-01-25 09:09:08 · 1227 阅读 · 0 评论 -
kettle实验七:去除重复的数据
【实验目的】1.熟练掌握“去除重复记录”,“排序记录”,“文本文件输入”等组件的使用,实现去除重复数据。2.熟练掌握“去除重复记录”,“排序记录”,“文本文件输入”等组件的使用,实现去除重复数据。【实验原理】通过“阻塞数据直到步骤都完成”对多张表格的外键进行排序,然后通过“记录集连接”进行多表连接,再通过“字段选择”选择合适的字段输出到表格。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0及以上版本【实验步骤】一、建立转换双击spoon.原创 2021-01-25 09:04:25 · 13170 阅读 · 0 评论 -
kettle:字段的拆分、合并、值映射
【实验目的】1.利用Kettle的“拆分字段”,“字段选择”,“值映射”“JavaScript代码”组件,实现字段的拆分、合并、值映射。2.熟练掌握“拆分字段”,“字段选择”,“值映射”“JavaScript代码”等组件的使用,实现字段的拆分、合并、值映射。【实验原理】利用“拆分字段”将表格的<课程大类>字段拆分为<课程大类>和<课程大类>两个字段;利用“值映射”将表格的<讲师>为xx的替换为另外一个XXX;利用“JavaScript代码”通过编程原创 2021-01-25 09:00:33 · 11343 阅读 · 2 评论 -
实验五kettle:字符串操作(去空,值替换,补位)
【实验目的】1.利用Kettle的“过滤记录”,“字符串替换”,“字符串操作”组件,实现记录的过滤,字符串替换及字符串的去空格功能。2.熟练掌握“过滤记录”,“字符串替换”,“字符串操作”等组件的使用,实现记录的过滤,字符串替换及字符串的去空格功能。【实验原理】通过“过滤记录”对单元格为空的记录进行过滤,然后通过“字符串替换”指定替换单元格中某些特定内容,再通过“字符串操作”实现字符串的去空格功能。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.原创 2021-01-25 08:55:37 · 19012 阅读 · 1 评论 -
数据全量、增量、比较更新
【实验目的】1.利用Kettle的“表输入”,“表输入出”,”JavaScript代码”组件,实现数据全量更新。2.熟练掌握“JavaScript代码”,“表输入”,“表输入出”组件的使用,实现数据全量更新。【实验原理】通过“表输入”对MySQL表格的数据读入,然后通过“JavaScript代码”更新抽取数据的时间,再通过“表输入出”保存表格到MySQL数据库。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0及以上版本【实验步骤】一、建立转原创 2021-01-25 08:45:12 · 3470 阅读 · 2 评论 -
用Kettle生成测试数据
【实验目的】1.利用Kettle的“生成随机数”,“JavaScript代码”组件,生成测试数据。2.熟练掌握“生成随机数”,“JavaScript代码”组件的使用,实现生成不同类型的测试数据。【实验原理】通过“生成随机数”生成随机0~1的小数,随机的字符串,随机的整数。再利用“JavaScript代码”编写代码处理随机的数或字符串,输出一定范围的小数,日期和有一定规律形式的整数。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0及以上版本【实原创 2021-01-25 08:40:26 · 2295 阅读 · 0 评论 -
合并多个Excel文件
【实验目的】1.利用Kettle的“Excel输入”等组件,完成合并多个Excel文件。2.熟练掌握“Excel输入”组件,命名参数,通配符的使用,完成合并多个Excel文件。【实验原理】通过使用正则表达式配置“Excel输入”组件中的通配符,实现多个Excel文件合并。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0及以上版本【实验步骤】一、建立转换双击spoon.bat打开kettle。(1)点击新建按钮,在下拉菜单中点击选择"转换"原创 2021-01-25 08:31:40 · 3190 阅读 · 0 评论 -
kettle复杂表头的Excel数据源处理
【实验目的】1.利用Insight的“Excel输入”等组件,完成复杂表头的Excel数据源处理。2.熟练掌握“Excel输入”,组件的使用,完成复杂表头的Excel数据源处理。【实验原理】通过“Excel输入”选择要最终输出的字段到下一个步骤“追加流”(实验中必须保证每个数据源经过字段选择后,输出的字段都是一致的),再通过“追加流”设置2个数据源的合并顺序,然后通过“追加流”进行多个据源的合并。【实验环境】操作系统:Windows10 Kettle版本:7.1.0.0jdk版本:1.8.0原创 2021-01-25 08:16:39 · 3183 阅读 · 4 评论