关注【郑大钱呀
】【公】【众】【号】,我们一起交流,一起学习。
Kettle多文件合并
在开发工作中,我们经常会处理将多个相同格式的文件,写到一张表里
,或者一个文件中,也就是多文件合并,假设现在有2个相同格式csv文件,内容如下:
文件1内容
id,name,sex
1,小赵,男
2,小黄,男
3,小美,女
文件2内容
id,name,sex
4,小张,男
5,小丽,女
6,小红,女
此时我们需要将上面文件的内容写入一张user
的表中,我们该如何做呢?具体步骤如下,先拖两个控件,并建立连接,如下图:
下面配置文本控件,如下图:
下面配置内容部分
下面配置字段,配置完成后点击确定
接着我们配置表输出控件
配置完成后,点击启动运行即可
最后我们去数据库里看一下数据,两个文件的数据都有了
Get data from XML组件
我们有一个xml文件,内容如下:
<?xml version="1.0" encoding="UTF-8" ?>
<all_data>
<row id="1">
<name>小红</name>
<age>10</age>
</row>
<row id="2">
<name>小明</name>
<age>12</age>
</row>
</all_data>
此时我们想要提取xml文件中的数据,输入到一个文本文件中
,具体步骤如下,我们首先拖拽控件,并建立连接,如下图:
下面配置Get data from XML
,如下图:
定位要循环的路径
获取字段,点击预览可以预览数据
配置完成后,点击启动即可
下面我们看一下最后的结果文件
JSON INPUT组件
上面我们说了从xml文件中获取数据,我们再看一下从json文件数据中获取数据,有一个JSON文件,内容如下:
{
"userinfo": [
{
"name": "张三",
"age": "20"
},
{
"name": "李四",
"age": "14"
},
{
"name": "王二",
"age": "52"
}
]
}
我们现在想将json文件中的name、age,提取到txt中,具体操作如下,拖拽如下控件:
下面我们双击该组件 进入配置页面,如下图:
配置名称、jsonpath路径、数据类型,配置完成后可以预览数据,看看对不对
这里贴一下jsonPath语法表
文本配置就不细说了,配置完成,直接点击允许,最后看下结果:
生成记录组件
生成记录的作用就是批量的生成一些数据,比如我们想生成1000条数据,并且写到文本文件里,用于测试,具体步骤如下,先拖拽两个控件,并且建立连接,如下图:
双击生成记录,配置该控件,如下图:
文本控件配置和之前一样,就不细说了,最后点击运行
查看文本文件内容:
表输入控件
该控件的作用就是从数据库中的数据,然后再给其他控件输出,比如我们有一张user表,如下:
我们现在将数据库的数据写入一个文本文件中,具体操作如下,先拖两个控件:
双击表输入控件,进行配置,如下图:
值得注意的是,如果你没有已有的数据库连接,需要新建,这里我们以mysql为例,连接mysql需要先去上网上下载如下图中的两个驱动包,并把它们放到kettle的lib目录,如下图:
然后我们点击新建创建连接,如下图:
配置完成后,保存即可,最后我们把文本文件配置一下,点击一下启动,结果如下:
我们最后看下结果:
SQL文件输出
我们有时候需要将数据库中的数据导成SQL文件
,此时我们就可以使用该组件,我们假如想要将user表导成SQL文件,具体操作如下:
下面主要看一下SQL文件输出组件的配置,如下:
配置完成后,我们点击一下启动,看一下生成的sql文件,如下图:
更新控件
更新主要用于对比两个目标的数据是否存在更新,如果有变动,则更新目标表,如果数据不存在则会报错
。我们现在有两张表,一张user表,另一张user1表,我们想把user表的数据更新到user1表中,两张表的内容如下:
下面我们开始具体操作,首先拖拽组件,如下图:
我们这里说一下更新组件,双击进入配置界面,如下图:
配置完成后,点击启动执行,最后查看一下user1表的数据,如下图:
更新成功
但是此时如果有数据不存在,就会有报错,如下图:
结尾
本期的内容就到这里了,如有不足之处还请大家多多指正,欢迎大家留言、关注、转发、收藏,谢谢。