NIFI分页获取Mysql数据_导入到Hbase中_并可通过phoenix客户端查询_含金量很高的一篇_搞了好久_实际操作05---大数据之Nifi工作笔记0045

已于 2023-05-24 11:30:26 修改
阅读量636 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 移动&低代码&区块链 文章标签： nifi hbase mysql hbase nifi同步数据到hbase nifi hbase同步数据
于 2023-05-09 17:31:57 首次发布
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.csdn.net/lidew521/article/details/130529256
这篇博客介绍了如何使用NIFI从MySQL进行分页数据获取，然后转换并导入到Hbase，同时尝试通过Phoenix客户端进行查询。作者遇到Phoenix连接Hbase的驱动问题，最终通过PutHbaseJson成功将数据写入Hbase。

然后我们来看,如何从mysql中,进行分页获取数据,然后把数据导入到hbase中去,这里

刚开始是通过phoenix,想通过phoenix来操作hbase,

但是弄了好久啊...报错...不知道为什么....后来只能通过putHbaseJson来实现了..不过也已经实现了.

首先从mysql中获取数据,我们沿用之前,从mysql中获取分页数据的博文.

可以看到上面的之前的流程.

这里先通过GenerateTableFetch获取分页的sql语句,然后利用ExecuteSql去执行分页sql语句,获取数据以后,然后,把Avro格式的数据转换成Json格式的数据,然后再把,获取的分页数据,进行SplitJson,进行分割,得到,一行数据,是一个json字符串.

然后再用EvaluateJsonPath处理器,从json字符串中提取字段数据,然后,通过ReplaceText处理器,进行拼接upsert语句,然后再用putsql,通过配置phoenix驱动来进行把数据,插入到hbase中去.

思路是这样的但是这里配置的phoenix驱动,就是连不上hbase数据库,不知道怎么回事...

先看看过程吧:

这里推荐一个把数据通过binlog,mysql的binlog,然后实时增量同步到hbase的文章:

有可能能用的到:


                

        

    


  


        

                

                  

                  

                  了解本专栏
                  
                  
                    
                  订阅专栏 解锁全文
                   
                  
                    
                    超级会员免费看
                  
                

            
            
            
        


    



                



	

		

			

				
					
NIFI分页获取Postgresql数据到Hbase中_实际操作---大数据之Nifi工作笔记0049

				
			

			

				

					添柴程序猿的专栏
				

				

					05-22
					
					1047
					
				

			

		

		

			
				
然后这里的ExecuteSql处理器,我们选择数据库连接池,这里我们选择刚刚创建的,用这个连接池来执行,GenerateTableFetch生成的分页的sql语句.然后我们给PutHbaseJSON处理器配置一下,这里我们选择HBase_2_ClientService这个连接HBASE的服务。Hbase中,但是我这里的时候报错了,然后一直没解决,所以最后用了PutHbaseJson处理器,把数据存入到Hbase中去.启动以后生成的SQL我们来看一下,去执行一下,试试,可以执行。可以看到,有4条数据。

			
		

	



                

            
              



	

		

			

				
					
NIFI从MySql中离线读取数据再导入到MySql中_03_来吧用NIFI实现_数据分页获取功能---大数据之Nifi工作笔记0038

				
			

			

				

					添柴程序猿的专栏
				

				

					04-20
					
					1223
					
				

			

		

		

			
				
实际引用环境中,我们的一张mysql的表,可能有上千万的数据,那么,不可能,我们把sql查询语句写死,这样一次性如果获取所有数据,那么压力太大了,我们怎么弄呢?找了很久没有找到相关教程,自己做了测试,整理出来了.querydatabasetable处理器删除掉了,对,因为querydatabasetable,不支持分页,所以我们删除掉了,除了替换掉了,这两个处理器,其他的。内容分别是这3条sql对吧,可以看到这个处理器,已经根据我们的要求,给我们自动生成了分页的sql了,然后,我们再去把,这些sql,

			
		

	



              


  
              

                


	

		

			

				
					
SQL on HBase -- phoenix 之分页查询

				
			

			

				

					BerylFanZi的专栏
				

				

					05-03
					
					8704
					
				

			

		

		

			
				
最近一个项目中使用了HBase，有一部分实时查询的需求。HBase本身只有一种排序，即按照rowkey的字典升序来排序数据。然而我们常常会碰到各种各样的排序需求。




        对于简单的需求（比如项目确定只有某一种特定排序的需求），则可以通过对rowkey本身进行“组合”设计来达到目的。比如项目涉及到的数据为全球各类学校学生情况，需要按照在校人数的降序来展示数据，则可以采用“

			
		

	





	

		

			

				
					
nifi之读取mysql数据库离线提取（1）

				
			

			

				

					guijianchouxyz的博客
				

				

					09-16
					
					2328
					
				

			

		

		

			
				
nifi之读取mysql数据库（离线同步）
选择处理器
QueryDatabaseTable：来读取数据库信息

生成SQL选择查询，或使用提供的语句

创建组

组的主要作用就是，把处理器进行分组
因为咱这个是最后的目标是从mysql数据库里面读取数据然后再放到mysql数据中，来进行的一个模拟的操作动作，所以我的组名就叫mysql_to_mysql，这个名称大家可以自己根据实际情况而改动



新建处理器


修改处理器名称

主要是为了方便一眼可以看出来这个处理器是干什么的

【双击处理器】

更改处

			
		

	



		

			
		



	

		

			

				
					
Phoenix实现分页查询

				
			

			

				

					weixin_30339969的博客
				

				

					07-27
					
					540
					
				

			

		

		

			
				
1 利用offset语法，官网的语法

ELECT * FROM TEST LIMIT 1000;
SELECT * FROM TEST LIMIT 1000 OFFSET 100;

　　
2 公式如下

SELECT * FROM TEST LIMIT pageSize OFFSET (pageNum - 1)*pageSize;
　　　　


例如 第...

			
		

	





	

		

			

				
					
NIFI从MySql中离线读取数据再导入到MySql中_不带分页处理_01_QueryDatabaseTable获取数据_原0036---大数据之Nifi工作笔记0064

				
			

			

				

					添柴程序猿的专栏
				

				

					04-20
					
					1088
					
				

			

		

		

			
				
我们的sql语句起取了1条对吧,因为我们设置了run schedule,是3秒钟执行一次,所以这里出现了,一堆的数据,但是每个数据好像都是一样的.然后再看convertavrotojson处理器,拖拽过来一个,因为querydatabasetable处理器,查询过来的数据是avro格式的,然后我们设置querydatabasetable处理器的run schedule,大一点,因为这里去查询数据,查一次就可以了,因为我们的sql是写死的这里,所以,如果重复查的话,那么数据是重复的.

			
		

	





	

		

			

				
					
NIFI从MySql中离线读取数据再导入到MySql中_无分页功能_02_转换数据_分割数据_提取JSON数据_替换拼接SQL_添加分页---大数据之Nifi工作笔记0037

				
			

			

				

					添柴程序猿的专栏
				

				

					04-20
					
					532
					
				

			

		

		

			
				
select id,name,mobile,son_json from user_info_nifi limit 0,2  这里注意,我们漏下了email,没有取,所以后面,没有取出来email是正常的。修改它的配置,属性这里,这个JSON container options这里设置成array,就是我们把多条数据,转换成json数组,如果传过来的是多条数据的话.我们再去启动evaluateJsonPath处理器去看看,可以看到,这个时候,出来的两个flowfile,就已经根据,我们上面对。

			
		

	





	

		

			

				
					
NIFI从PostGresql中离线读取数据再导入到MySql中_带有数据分页获取功能_不带分页不能用_NIFI资料太少了---大数据之Nifi工作笔记0039

				
			

			

				

					添柴程序猿的专栏
				

				

					04-25
					
					655
					
				

			

		

		

			
				
然后再拖入一个splitjson处理器,把转换后的json数据,进行分割,如果是json数组的话会被分割成一条一条的。这里一定要注意的就是,这里,在postgresql中,写sql的时候要用,单引号,不要用双引号,用双引号执行报错。然后再去拖入一个replacetext处理器,用来把从json中提取的数据,替换到我们自己编写的sql语句中。可以看到执行处理器以后的数据,当然这里,可以看一下flowfile的,队列中的flowfile的属性.然后配置对应的url,驱动名称,驱动位置 ,数据库名称,密码。

			
		

	





	

		

			

				
					
NIFI同步MySql数据源数据_到原始库hbase_同时对数据进行实时分析处理_同步到清洗库_实际操作06---大数据之Nifi工作笔记0046

				
			

			

				

					添柴程序猿的专栏
				

				

					05-11
					
					476
					
				

			

		

		

			
				
可以看到,数据经过GenerateTableFetch处理器,获取分页sql,然后通过ExecuteSql处理器执行,获取数据以后,然后把数据从Avro格式转换成Json格式,使用ConvertAvroToJSON处理器,然后再把分页的多条数据,进行拆分SplitJson处理器,然后拆分后的一条条数据,可以走可以看到,往右走一条线是:把数据直接存入Hbase数据库中,使用PutHbaseJSON。这里先说一下需求,我们想把数据从不同的数据源取出来以后,当然这里是一个数据源,取出来以后,

			
		

	





	

		

			

				
					
[Phoenix] 九、分页查询

				
			

			

				

					weixin_34160277的博客
				

				

					04-20
					
					924
					
				

			

		

		

			
				
概述
所谓分页查询就是从符合条件的起始记录，往后遍历“页大小”的行。数据库的分页是在server端完成的，避免客户端一次性查询到大量的数据，让查询数据数据分段展示在客户端。对于Phoenix的分页查询，怎么使用？性能怎么样？需要注意什么？将会在文章中通过示例和数据说明。
二、分页查询
1. 语法说明
[ LIMIT { count } ]
[ OFFSE...

			
		

	





	

		

			

				
					
Nifi模板-PostGreSqlToMySql数据分页实时采集-带分页.zip

				
			

			

				

					05-06
				

			

		

		

			
				
使用大数据处理工具NIFI,进行数据从Postgresql中导入到MySql中,实现数据的同步处理,处理的时候,是带有分页的,因为作者正在做相关的项目,而,用nifi同步数据好说,如何,进行数据的分页同步不好弄,这里,主要是,采用处理器,自动生成分页sql,来进行数据的分页.


弄了好久终于弄出来了,希望能帮到你,这个模板可以导入到nifi中直接使用.非常的方便.

			
		

	





	

		

			

				
					
rummage_phoenix：Phoenix完全支持Rummage。 它可用于在phoenix中搜索，排序和分页集合

				
			

			

				

					02-05
				

			

		

		

			
				
rummage_phoenix：Phoenix完全支持Rummage。 它可用于在phoenix中搜索，排序和分页集合

			
		

	





	

		

			

				
					
nifi使用笔记

				
			

			

				

					11-21
				

			

		

		

			
				
NiFi管理员或数据流管理器（DFM）可能会发现，在单个服务器上使用NiFi的一个实例不足以处理它们拥有的数据量。 所以，一个解决方案是在多个NiFi服务器上运行相同的数据流。 但是，这会产生管理问题，因为每次DFM想要更改或更新数据流时，都必须在每个服务器上进行这些更改，然后分别监视每个服务器。 通过对NiFi服务器进行集群化，可以增加处理能力以及单个接口，通过这个接口可以改变数据流并监控数据流。 集群允许DFM只进行一次更改，然后将更改复制到集群的所有节点。 通过单个接口，DFM还可以监视所有节点的健康和状态。

			
		

	





	

		

			

				
					
Phoenix Tips (10)  分页查询

				
			

			

				

					荒岛码农
				

				

					11-09
					
					3387
					
				

			

		

		

			
				
组合使用order



SELECT title, author, isbn, description 
FROM library 
WHERE published_date > 2010
AND (title, author, isbn) > (?, ?, ?)
ORDER BY title, author, isbn
LIMIT 20

			
		

	





	

		

			

				
					
SHDP--Working with HBase(三)之HBase+Phoenix实现分页

				
			

			

				

					weixin_30436891的博客
				

				

					03-02
					
					233
					
				

			

		

		

			
				
先简单讲讲只用HBase来实现分页的思路：
HBase利用scan来扫描表，通过startKey,stopKey来确定扫描范围，在需要进行分页时可以结合HBase提供的PagefFilter过滤扫描的行数使scan返回N条数据达到分页的目的（N为每页的记数），此时有以下两种方案达可以达到分页目的：

1. 在得到scan结果后把上一页的最后一条数据作为scan下一页时的startKey，但...

			
		

	





	

		

			

				
					
phoenix 读取mysql_Phoenix + HBase,让你像操作MySQL一样操作HBase

				
			

			

				

					weixin_31133141的博客
				

				

					01-19
					
					353
					
				

			

		

		

			
				
Phoenix关联HBase的操作(三种情况)情况一：Hbase已经有已存在的表了，可在Phoenix中创建对应的视图，视图只能做查询操作，不能做增删改hbase中已创建表且有数据，表名：phoenix在phoenix中创建对应视图create view "phoenix"(pk varchar primary key,"info"."name" varchar,"info"."age" varc...

			
		

	





	

		

			

				
					
NIFI自定义开发API-HTTP分页功能

				
			

			

				

					为什么简介是必填项？
				

				

					08-21
					
					2012
					
				

			

		

		

			
				
此文档目的为：在NIFI ETL中开发自定义HTTP分页查询，通过接口响应回的总条数和总页数，
	生成多个分页查询的API接口地址，然后逐一进行请求获取响应信息；
	HTTP分页查询一般为POST查询，此流程第二个组件同时也配置GET请求的分页查询；

			
		

	





	

		

			

				
					
phoenix 读取mysql_Phoenix JDBC访问

				
			

			

				

					weixin_39826089的博客
				

				

					01-19
					
					253
					
				

			

		

		

			
				
引入Phoenix jar在maven项目中引入Phoenix jar包：org.apache.phoenixphoenix-core4.8.0-HBase-1.1备注：版本需与hbase版本一致，否则会出现问题使用JDBC访问PhoenixPhoenix除了提供SQLLine这种命令方式，同时提供了JDBC代码的访问方式。packagecom.dajiangtai.phoenix;importj...

			
		

	





	

		

			

				
					
大数据NiFi（二十）：实时同步MySQL数据到Hive

				
			

			

				

					Lansonli（蓝深李）的博客
				

				

					02-26
					
					7597
					
				

			

		

		

			
				
连接关系中，我们这里只关注“insert”和“update”的数据，后期获取对应的属性将插入和更新的数据插入到Hive表中，对于“delete”的数据可以路由到其他关系中，例如需要将删除数据插入到另外的Hive表中，可以再设置个分支处理。登录mysql ,使用“mynifi”库，创建表“test2”。以上获取的tablename名称为“test2”，后面这个sql是要将数据插入到Hive中的，所以这里在Hive中也应该创建“test2”的表名称，或者将表名称写成固定表，后期在Hive中创建对应的表即可。

			
		

	





	

		

			

				
					
NIFI模板实现Hbase至Mysql的实时数据同步分页技术

				
			

			

				

					
				

			

		

		

			
				
在这个NIFI大数据模板中，涉及到的关键知识点包括NIFI的使用，Hbase的数据获取，以及使用Phoenix进行分页处理，最终实现数据同步到MySQL数据库的过程。  首先，我们需要了解NIFI是什么。NIFI是一个开源的，易于使用...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
添柴程序猿

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值