NIFI分页获取Mysql数据_导入到Hbase中_并可通过phoenix客户端查询_含金量很高的一篇_搞了好久_实际操作05---大数据之Nifi工作笔记0045

然后我们来看,如何从mysql中,进行分页获取数据,然后把数据导入到hbase中去,这里

刚开始是通过phoenix,想通过phoenix来操作hbase,

但是弄了好久啊...报错...不知道为什么....后来只能通过putHbaseJson来实现了..不过也已经实现了.

首先从mysql中获取数据,我们沿用之前,从mysql中获取分页数据的博文.

可以看到上面的之前的流程.

这里先通过GenerateTableFetch获取分页的sql语句,然后利用ExecuteSql去执行分页sql语句,获取数据以后,然后,把Avro格式的数据转换成Json格式的数据,然后再把,获取的分页数据,进行SplitJson,进行分割,得到,一行数据,是一个json字符串.

然后再用EvaluateJsonPath处理器,从json字符串中提取字段数据,然后,通过ReplaceText处理器,进行拼接upsert语句,然后再用putsql,通过配置phoenix驱动来进行把数据,插入到hbase中去.

思路是这样的但是这里配置的phoenix驱动,就是连不上hbase数据库,不知道怎么回事...

先看看过程吧:

这里推荐一个把数据通过binlog,mysql的binlog,然后实时增量同步到hbase的文章:

有可能能用的到:

https://blog.csdn.net/baixf/article/details/94622813

https://blog.csdn.net/swordcenter/article/details/90481577
这个是使用jlot来进行,数据提取,匹配的