kettle mysql hdfs_kettle 将mysql 导入到hive（借助Hadoop File Output组件）

背景

在使用kettle 的表输出组件的时候，因为服务器hive版本为0.13,不支持insert into values的语法(hive 的0.14版本才支持)，所以通过表输出的方式，插入到hive会报错。

所以想了一个其他的办法，通过kettle提供的Hadoop File Output 组件将数据以数据文件的方式导入到hadoop的hdfs。然后通后通过执行sql脚本，使用hive 支持的 load data inpath into table 的方式，将hdfs的数据文件，加载到hive表中。

步骤

1.创建hive 的数据库连接

在kettle的DB连接里面新建数据库连接，连接hive。在我的上篇文章里面有关于kettle里面创建hive连接的步骤，详情请参照我的另一篇文章Data Integration (kettle) 7.0 连接Hive

2.新建hadoop cluster连接

配置kettle hadoop cluster的配置文件

从服务器hadoop etc的配置文件中下载如下4个配置文件，覆盖kettle的plugins\pentaho-big-data-plugin\hadoop-configurations\hdp25中的4个同名文件。

image.png

新建hadoop cluster 连接

填写相应的配置，配置的hostname 和端口号根据上面4个配置文件填写，如下图：

image.png

点击测试连接，如下图：

image.png

有一部分是报些错误，不过不影响，只要Hadoop File System Connection 没报错就行。

3.转换整体流程

整个转换的流程如下：

image.png

通过表输入的方式，从mysql数据库读取表数据，然后通过Hadoop File Output将mysql数据库的数据以数据文件的方式，输出到hadoop的hdfs，然后执行SQL脚本，将数据文件加载到hive的表中。

4.Hadoop File Output组件

hadoop file output 组件配置如下：

image.png

在内容里面注意标红的几个配置，头部是否显示列名，勾选完后表示不显示列名。

image.png

5.执行sql 脚本组件

使用步骤1创建的hive连接，连接hive，然后通过如下脚本，将数据从hdfs里面导入到hive。

image.png

欢迎大家赞赏、转载、点赞、评论。