kettle将文件路径定义为_kettle demo4 从FTP下载文本文件到本地,然后插入到数据库...

该示例演示如何使用Kettle从FTP服务器下载文本文件,将其存储到本地,然后将内容插入到数据库中。通过全局变量配置FTP信息,并在kettle.properties文件中设置。步骤包括创建转换以获取FTP目录路径,设置变量,创建FTP下载作业,从文本文件转存到数据库,最后用作业串联所有步骤。
摘要由CSDN通过智能技术生成

本事例演示从FTP下载文件,然后在插入到数据库,这次FTP配置信息就通过变量来配置了,全局变量一般配置在kettle.properties文件里,

下面是FTP的配置信息,

因为FTP下载是一个作业(job),一些路径信息的设置需要转换,所以咱们需要串联配置转换和作业,大致步骤如下

设置远程FTP文件路径变量>下载FTP文件>导入本地文件到数据库

1、新建一个转换,设置远程FTP服务器的目录,最后名称保存为demo_get_url,因为后面要用,所以名称要起的认真点,

至于为什么有这个步骤,是因为很多ftp服务器的文件命名规则都是这么来的,要获取当年当月当天文件夹下的文件

首先从输入里拖进来生成记录控件,然后通过JS代码返回目录路径字符串,最后把这个路径设置为变量

2、设置生成记录,把条数改为一条

3、设置JS代码控件,最终返回的是一个或者多个目录的名称变量,我这里的目录为年月日分开的目录,我的ftp服务器是本地测试的,所以ftp目录也在本地

4、然后开始设置变量,把刚才年月日设置为变量,供同作业下的下个转换使用

到这里,ftp服务器的目录就设置好了,然后开始设置ftp下载了

5、创建ftp下载作业,和上一篇基本类似,就不再详细贴图了,只把有变化的地方指出来,设置好后保存为demo_ftp_downlaod,开始设置从文本文件到数据库转换了

6、新建一个转换,从文本文件到表输出,这个步骤就不再贴图了,和前面的一模一样,

7、基本的步骤都弄好了,然后新建一个作业,把这些步骤穿起来,如图

这之前把数据库表清空,然后执行当前job,查看结果

本地下载目录

数据库

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值