大数据NiFi（十八）：离线同步MySQL数据到HDFS

文章目录

离线同步MySQL数据到HDFS

一、配置“QueryDatabaseTable”处理器

二、配置“ConvertAvroToJSON”处理器

三、配置“SplitJson”处理器

四、配置“PutHDFS”处理器

五、​​​​​​​运行测试

1、在MySQL创建库“mynifi”,并且创建表“test1”，向表中插入10条数据

2、首先启动“QueryDatabaseTable”处理器观察队列数据

3、单独启动“ConvertAvroToJson”处理器观察队列数据

4、单独启动“SplitJson”处理器观察队列数据

5、单独启动“PutHDFS”处理器观察HDFS对应目录数据

---

离线同步MySQL数据到HDFS

案例：使用NiFi将MySQL中数据导入到HDFS中。

以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。

一、配置“QueryDatabaseTable”处理器

该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avro格式。该处理器只能运行在主节点上。

关于“QueryDatabaseTable”处理器的“Properties”配置的说明如下：