【Kettle】 数据转换的基本操作

• 前言

我们在真实的业务场景中经常会遇到一些数据的操作，今天我就来介绍一下kettle这款ETL工具的基本操作

 

• csv - excel

在Kettle中新建转换

拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件

配置CSV输入组件

1.选择要进行导入的CSV数据源

2. 点击 「获取字段」，读取CSV中的列

3.点击 「预览」，浏览CSV中的数据

配置Excel输出组件

指定输出Excel文件的位置

点击三角形箭头执行

 

•  json - excel

拖拽一个Json输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件

 

配置Json输入组件

 

配置Excel输出组件

点击三角形箭头执行

 

• mysql - excel

拖拽一个表输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件

配置表输入组件

配置Excel输出组件

点击三角形箭头执行

 

• 生成记录 - excel

拖拽一个生成记录输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件

配置生成记录输入组件

配置Excel输出组件

点击三角形箭头执行

 

• mysql – 文本

拖拽一个表输入组件、一个文本文件输出组件、并按住Shift拖动鼠标连接两个组件

配置表输入组件

配置文本文件输出组件

点击三角形箭头执行

 

• json  – mysql

需要把mysql-connector-java-5.1.21.jar放入Kettle下的lib目录中

拖拽一个Json输入组件、一个表输出组件、并按住Shift拖动鼠标连接两个组件

配置Json输入组件

 

配置表输出组件

目标表必须存在

点击三角形箭头执行

 

• json  – 插入更新

插入更新就是把数据库已经存在的记录与数据流里面的记录进行比对 如果不同就进行更新 如果记录不存在，则会插入数据

拖拽一个Json输入组件、一个插入更新输出组件、并按住Shift拖动鼠标连接两个组件

 

配置Json输入组件

 

配置插入更新输出组件

 

点击三角形箭头执行

 

• 自定义常量数据 – 删除（删除mysql数据）

拖拽一个自定义常量数据输入组件、一个删除输出组件、并按住Shift拖动鼠标连接两个组件

 

配置自定义常量数据输入组件

 

配置删除输出组件

 

点击三角形箭头执行