StreamSets从MySQL增量更新到Hive

所有的配置都采用图文的形式，希望小伙伴会喜欢^_^

环境准备：

5.5.56-MariaDB

HDP-2.6.3.0-Hive-1.2.1000

HDP-2.6.3.0-HDFS- 2.7.3

1.第一步，点击创建新的管道流create new pipeline：

2.第二步，随便写一个标题和描述

3.配置错误日志输入路径，这里配置到本地的/usr/local/data/streamsets_errorlog（需要自己创建，在你安装StreamSets机器的目录下）

4.添加jdbc查询

我这里的配置是，数据库是test，表是user,自增长的键是id：

5.部署完毕，可以进行一下校验

6.可以进行预览一下

7.最后启动jdbc

8.添加Hive Metadata

选择All Stages ，输入hive

9.填写hive数据库和hive的表，如果没有分区，要把Partition Configuration删掉

10.数据选择Avro格式

11. 将Hive Metadata 输出到 HiveMetastore

12.同样参考hive metadata

13. 将Hive Metadata的data 输出到HDFS 上

最后，欢迎热爱技术的小伙伴加入我们的聊天群qq:852278138