【Kettle】将数据从mysql写入到hive中

• 前言

我们设想有一个场景，需要从把数据从mysql写入到hive中，这样大家就可以用到这篇文章的内容，话不多说直接看下面的操作。

 

• 业务流程图

 

• 创建一个作业把流程配置好

 

 

• 创建mysql表及其数据

 

 

• 创建一个转换进行数据处理及写入

根据业务需求来写需要的业务

 

 

获取mysql的表的数据

 

 

字段选择

按照需求设置，这里我们的需求需要设置日期的格式

 

 

Parquet output（写入到hdfs）

数据格式需要改为UTF8，这里的字段顺序与字段类型需要跟即将创建的hive表的字段顺序一模一样

 

压缩格式改为Snappy

 

• 编写修复分区

因为我们是直接把数据写入到hive的数据文件夹下，所以需要修复分区

 

 

• 在Hive中创建表

 

• 执行作业