NIFI从mysql导入Hbase

端口是自定义的

http://desktop:9091/nifi/

 

mysql数据集准备以[2]为准

需要提前在hbase中建立好数据库:

hbase>create "book","information"

 

 

mysql设置:

然后点击齿轮,填写表格如下:

Database Connection URL	jdbc:mysql://localhost:3306/sqoop_hbase?useUnicode=true&characterEncoding=utf8&useSSL=true
Database Driver Class Name	com.mysql.jdbc.Driver
Database Driver Location(s)	/home/appleyuchi/bigdata/apache-hive-3.0.0-bin/lib/./mysql-connector-java-8.0.20.jar
Database User	appleyuchi
Password	appleyuchi

填写完后点击闪电符号生效

 

数据流程思路:

从ExecuteSQL里出来的是avro格式的数据，要先将其转化成json格式，再导入HBase。拖一个ConvertAvroToJson Processor到界面。然后，从ExecuteSQL连一条线到ConvertAvroToJson，关系为success。

 

需要在界面设置好hbase的表格名，列簇和主键

 

最终框架如下:

上述mysql到hbase的NIFI完整详细配置文件在:

https://gitee.com/appleyuchi/cluster_configuration/tree/master/spark3.0.0-hadoop3.2.1%E7%A6%BB%E7%BA%BF%E5%A4%9A%E6%9C%BA%E9%9B%86%E7%BE%A4%E9%85%8D%E7%BD%AE-%E5%AE%8C%E6%88%90/NIFI%E6%95%B0%E6%8D%AE%E6%B5%81%E9%85%8D%E7%BD%AE

最后start即可，start后，数据是实时从mysql同步到hbase的，

在hbase中

scan 'book'

就可以看到导入的进度。

如果此时在mysql增加一条数据，那么过一会儿就可以在hbase中看到。

整个NIFI一旦start以后，是不会自己停止的，会时刻监控mysql新增的数据。

 

 

Reference:

[1]使用NiFi将数据从Mysql导入至HBase

[2]sqoop把mysql数据导入hbase-完整记录