kettle
文章平均质量分 53
kettle
优惠券已抵扣
余额抵扣
还需支付
¥19.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
不死鸟.亚历山大.狼崽子
太极计算机股份有限公司系统架构师,从事ios、.net、flex、java等开发
展开
-
Kettle(16):Kitchen作业执行引擎
在Linux中对Kettle做Linux配置(和Windows相同,添加驱动jar包)将转换文件保存为2-excel-mysql.ktr中。修改4.5中Excel存入Mysql的转换配置如下。1 在Windows中开发作业。2 配置Start组件。原创 2023-01-28 12:52:17 · 658 阅读 · 0 评论 -
Kettle(15):Pan转换执行引擎
在Linux中,将 /root/kettle/user.txt数据抽取到 /root/kettle/out_user.xls 表格中。4 将数据文件user.txt和转换文件transform_param.ktr都上传到 /root/kettle目录。1 在 windows 中开发转换,将 文本文件数据抽取装载到Excel文件中。在/root/kettle目录会生成输出文件output_user.xls。-file: 指定要运行的转换文件(XML文件)2 抽取路径参数,通过参数指定输入路径和输出路径。原创 2023-01-28 11:16:17 · 820 阅读 · 0 评论 -
Kettle(14):Linux安装Kettle
4 在任意目录执行kitchen.sh -version命令。3 在任意目录执行pan.sh -version命令。然后执行以下命令,让配置生效。原创 2023-01-27 23:05:26 · 703 阅读 · 0 评论 -
Kettle(13):Job定时任务开发
配置转换这里选择作业中要执行的转换,此处选择之前开发好的exceltomysql.ktr即可(每5秒钟执行一次Kettle转换,也就是每5秒钟将Excel中的数据抽取并装载到MySQL中。1 将核心对象中,通用文件夹下的 Start 组件拖拽到中间的空白区域。点击播放箭头启动作业,并观察数据库中的数据是否会5秒钟增加一次。2 将 通用文件夹的「转换」组件拖拽到中间的空白区域。3 将通用文件夹中的「成功」组件拖拽到中间的空白区域。我们需要在Start组件中,配置定时执行。我们看到数据每隔5秒钟就会增加一次。原创 2023-01-27 22:39:02 · 352 阅读 · 0 评论 -
Kettle(12):设置转换参数
让Kettle帮助我们删除指定省份的用户,具体删除哪个省份不确定,由执行Kettle时指定。原创 2023-01-27 21:16:17 · 1202 阅读 · 0 评论 -
Kettle(11):SQL脚本组件
执行SQL脚本组件,可以让Kettle执行一段SQL脚本。我们可以利用它来自动执行某些操作。原创 2023-01-27 16:45:40 · 2325 阅读 · 0 评论 -
Kettle(10):switch/case组件
switch/case提供了一种条件判断的实现。原创 2023-01-27 16:33:49 · 1538 阅读 · 0 评论 -
Kettle(9):排序记录组件
排序组件可以将Kettle数据流中的数据进行排序,可以指定升序、还是降序排列。原创 2023-01-27 13:13:54 · 287 阅读 · 0 评论 -
Kettle(8):删除组件
删除组件能够按照指定条件,将表中的数据删除。原创 2023-01-27 12:51:38 · 2403 阅读 · 0 评论 -
Kettle(7):插入/更新组件
插入/更新组件能够将Kettle抽取的数据,与某个表的数据进行对比,如果数据存在就更新,不存在就插入。原创 2023-01-26 15:35:43 · 2449 阅读 · 0 评论 -
Kettle(6):表输入组件——mysql转mysql
现在有了新需求,要将MySQL数据库中的 t_user 表中的数据抽取出来,装载到另外一张表 t_user1中。前面我们已经将Excel中数据抽取到了MySQL的t_user表中。2.1 从核心对象的输入组件中,将「表输入」组件拖拽到中间的空白处。1 双击表输入组件,在弹出对话框中选择「获取SQL查询语句」。2.2 从输出中将「 表输出」组件拖拽到中间空白处。接下来,需要指定,数据从哪个数据库中读取数据。2 选择 t_user 表,点击确定。3 在弹出对话框中选择「否」。原创 2023-01-26 12:44:29 · 1099 阅读 · 0 评论 -
Kettle(5):共享数据库连接
在后续的Kettle中,我们需要多次用到上面的数据库连接。那么是不是每一次都要创建数据库连接呢?在Kettle中,可以将一个数据库共享,这样其他的Kettle转换就都可以复用该数据库连接了。我们兴奋地发现,在新建的转换中,都可以看到该数据库连接了。这样就避免了每次我们都需要配置该数据库连接了。1. 在转换中,点击「主对象树」,点击[DB连接]右键新建数据库连接(如果连接已经存在,则无需创建)3 发现刚刚选择的数据库连接已经变成黑体字,说明已经共享成功。2 右键单击需要的数据库连接,选择「共享」原创 2023-01-25 21:44:02 · 1869 阅读 · 0 评论 -
Kettle(4):excel数据抽取到mysql
Kettle要想连接到MySQL,必须要安装一个MySQL的驱动,就好比我们装完操作系统要安装显卡驱动一样。我这边直接使用上一篇导出的excel:file_user.xls。1.1 准备Excel文件。在mysql中创建数据库。原创 2023-01-22 18:17:32 · 1361 阅读 · 3 评论 -
Kettle(3):快速入门
(1)要使用Kettle来进行数据处理,首先要做的是构建Kettle的数据流图,也就是用可视化操作像排积木的方式,把要做的事情排列出来。1 双击文本文件输入组件,在弹出窗口中点击「浏览」按钮,选择需要转换的文本文件,我这边是user.txt 文件。3 点击「内容」选项卡,将分隔符修改为逗号(注意是英文状态的逗号),将编码方式修改为: UTF-8。2 点击「增加」按钮,将文件加入到要抽取的数据中来。4 点击「字段」选项卡,再点击「获取字段」按钮,可以读取到txt文件中的所有字段。(3)保存并启动执行。原创 2023-01-21 20:24:46 · 1080 阅读 · 0 评论 -
Kettle(2):安装Kettle
这个就不详细写了,不会的看我之前的博客。原创 2023-01-21 20:19:10 · 498 阅读 · 4 评论 -
Kettle(1):Kettle介绍
ETL是将业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的过程,目的是将企业中分散、零乱、标准不统一的数据整合到一起。它为企业提供一定的BI能力,指导业务流程改进,监视时间成本、质量以及控制。对于企业或行业应用来说,经常会遇到各种数据的处理,转换,迁移,掌握一种etl工具的使用,必不可少,这里要学习的ETL工具是——Kettle,现在已经更名为PDI。数据仓库是专门用来进行数据分析的,它可以是一个MySQL,也可以是Oracle,也可以将来后面大数据会学习到的Hive等。3 Kettle介绍。原创 2023-01-21 19:43:47 · 178 阅读 · 0 评论