大数据NiFi（二十）：实时同步MySQL数据到Hive

文章目录

实时同步MySQL数据到Hive

一、开启MySQL的binlog日志

1、登录mysql查看MySQL是否开启binlog日志

2 、开启mysql binlog日志

3、重启mysql 服务，重新查看binlog日志情况

二、配置“CaptureChangeMySQL”处理器

1、创建“CaptureChangeMySQL”处理器

2、配置“DistributeMapCacheServer”控制服务

3、配置“SCHEDULING”

4、配置“PROPERTIES”

5、启动MySQL，创建表“test2”测试“CaptureChangeMySQL”处理器

三、​​​​​​​​​​​​​​配置“RouteOnAttribute”处理器

1、创建“RouteOnAttribute”处理器

2、配置“PROPERTIES”自定义属性

3、连接“CaptureChangeMySQL”处理器与“RouteOnAttribute”处理器

四、配置“EvaluatejsonPath”处理器

1、配置“EvaluatejsonPath”的“PROPERTIES”属性

2、连接“RouteOnAttribute”处理器和“EvaluatejsonPath”处理器

五、​​​​​​​​​​​​​​配置“ReplaceText”处理器

1、配置“RelaceText”处理器“PROPERTIES”属性

2、连接“EvaluatejsonPath”处理器与“ReplaceText”处理器

六、​​​​​​​​​​​​​​配置Hive 支持HiveServer2

1、在Hive服务端配置hive-site.xml

2、在每台Hadoop 节点配置core-site.xml

3、重启HDFS ，Hive ，在Hive服务端启动Metastore和HiveServer2服务

4、在客户端通过beeline连接Hive

七、配置“PutHiveQL”处理器

1、创建“PutHiveQL”处理器

2、 配置“PROPERTIES”

3、连接“ReplaceText”处理器与“PutHiveQL”处理器并设置关系

八、​​​​​​​​​​​​​​运行测试

1、在Hive中创建表“test2”

2、启动NiFi处理数据流程,向MySQL中写入数据，查看Hive中表数据

---

实时同步MySQL数据到Hive

案例：将mysql中新增的数据实时同步到Hive中。

以上案例需要用到的处理器有：“CaptureChangeMySQL”、“RouteOnAttribute”、“EvaluateJsonPath”、“ReplaceText”、“PutHiveQL”。

首先通过“CaptureChangeMySQL”读取MySQL中数据的变化（需要开启MySQL binlog日志），将Binlog中变化的数据同步到“RouteOnAttribute”处理器，通过此处理器获取上游数据属性，获取对应binlog操作类型，再将想要处理的数据路由到“EvaluateJsonPath”处理器，该处理器可以将json格式