HBase flush issue

最新推荐文章于 2021-12-03 10:00:00 发布
最新推荐文章于 2021-12-03 10:00:00 发布
阅读量4.3k 收藏 1
点赞数
分类专栏： HBASE Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yunlong34574/article/details/73496661
版权
本文探讨了HBase中Region无休止flush的问题，分析了MemStore达到不同阈值时如何触发flush，包括内存使用限制、阻塞写操作的条件以及定期和手动flush的机制。同时，提到了当HLog达到最大值时如何强制刷新，以防止RegionServer崩溃时恢复时间过长。
摘要由CSDN通过智能技术生成 
最近经常有region进入无休止的flush状态，并且会导致用户MR无法插入数据到HBase，从而导致MR超时被Kill。
 

hbase regionserver中的flush log如下
 

 

2017-06-13 14:05:55,799 INFO org.apache.hadoop.hbase.regionserver.HRegionServer:xxdn2076.stratus.phx.xxx.com,60020,1495823170259-MemstoreFlusherChore requesting flush for region z_images_00,m
k-Svq,1464847988948.5273988aca6f1320405eff53181d40ed. after a delay of 22046



jmx中可以关注如下信息
 

"blocked

                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  苏然Vincent
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
【图文详解】HBase 的数据模型与架构原理详解

				
			

			

				

					程序员光剑
				

				

					12-11
					
					1万+
					
				

			

		

		

			
				
HBase 简介



https://hbase.apache.org/HBase， Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式开源 NoSQL 数据库，面向列存储。主要用来存储非结构化和半结构化的松散数据。HBase 的设计思想，来源于 Fay Chang所撰写的Google论文 “Bigtable：一个结构化数据的分布式存储系统”。HBase ...

			
		

	



                

              
                



	

		

			

				
					
hbase的读写机制详解，及flush参数的配置详解

				
			

			

				

					maketubu7的博客
				

				

					06-12
					
					2608
					
				

			

		

		

			
				
1、hbase的读写流程图，是一个二次寻址的过程第一次直接到zookeeper中找到meta的元数据信息，即meta对应的储存其他所有用户表的regionserver的位置，示意图中所给出的为regionserver1，然后第二次直接到regionserver1中的meta.region查询对应的{namespace:table,rowkey,column_family,column}的位置，这个...

			
		

	



                


  
              

                


	

		

			

				
					
hadoop fs –ls /hbase 无内容_HBase常见问题集合

				
			

			

				

					weixin_39530509的博客
				

				

					11-19
					
					423
					
				

			

		

		

			
				
【问题1】client.HConnectionManager$HConnectionImplementation: Can”t get connection to ZooKeeper: KeeperErrorCode = ConnectionLoss for /hbaseHBase分布式部署模式，执行 >hbase shell — >status显示以上错误，解决方法：关闭防火墙PS：...

			
		

	





	

		

			

				
					
hbase错误排查/数据恢复

				
			

			

				

					eyeofeagle的博客
				

				

					03-08
					
					5268
					
				

			

		

		

			
				
1，hbase表：数据结构

2，hbase报错集
由于region发生split, regionserver暂忙，停止了服务，而数据还在往旧的region中插入，导致如下各种错误
==>解决办法：

第一步： 备份hdfs的表数据（hdfs dfs -mv /hbase/data/default  /hbase.back）
第二步： 删除hdfs中的hbase数据目录的全部数据 (hdfs...

			
		

	



		

			
		



	

		

			

				
					
Hbase源码分析（十一）MemStore的flush处理（中）2021SC@SDUSC

				
			

			

				

					qq_45856546的博客
				

				

					12-03
					
					283
					
				

			

		

		

			
				
文章目录前言cacheFlusher如何处理flush请求requestFlush()WakeupFlushThreadFlushRegionEntry总结

前言
本文继续介绍了HRegion上Memstore flush的主体流程和主要细节，cacheFlusher如何处理flush请求。

cacheFlusher如何处理flush请求
通过如何初始化cacheFlusher部分的介绍，我们已经知道，在MemStoreFlusher内部，存在两个存储flush请求及其HRegion封装类的队列和集合，

			
		

	





	

		

			

				
					
zookeeper使用过程的错误

				
			

			

				

					denghe4720的博客
				

				

					05-24
					
					2831
					
				

			

		

		

			
				
一、zookeeper启动成功，dubbo服务也注册成功，但是服务消费者调用失败
报错如下：
[myid:] - INFO [SyncThread:0:ZooKeeperServer@645] - Established session 0x16ae75366b60004 with negotiated timeout 40000 for client /127.0.0.1:5094...

			
		

	





	

		

			

				
					
HBase MOB简介以及使用

				
			

			

				

					flyingbird
				

				

					05-11
					
					1206
					
				

			

		

		

			
				
背景

视图数据现在发展都比较快，数据量也越来越多，数据价值也越来越大，通过数据挖掘分析，可以产生越来越多的价值。所以这种大对象的存储需求也越来越多，HBase 2.0 发布了很多新的特性，其中一个非常值得关注的是中等对象存储的特性，即 HBase MOB（Medium Object Storage）特性。HBase 2.0 MOB的引入（由HBASE-11339这个issue引入），扩宽了HBase在人工智能、物联网等领域的应用场景。

最近公司也在考虑切换对象存储策略，由之前的ceph转变为HBase 

			
		

	





	

		

			

				
					
hbase集群负载均衡与高性能的关键——region分割与合并

				
			

			

				

					宝罗Paul 的博客
				

				

					06-04
					
					1万+
					
				

			

		

		

			
				
第一部分、分割(split)

split是切分、切割、分裂的意思，用来描述region的切分行为。

【与region有关的存储结构介绍】 
hbase中的Region是一张表的子集，也就是说把一张表在水平方向上切割成若干个region。一张表一开始的时候只有一个region(区域)，随着数据量的增长，会自动(或手动)切分出来越来越多的region。HBase中针对表采用”Range分区”，把r...

			
		

	





	

		

			

				
					
HBase1.2.3版本常用配置参数说明

				
			

			

				

					农村外出务工男的博客
				

				

					01-24
					
					3193
					
				

			

		

		

			
				
一、前言
    主要针对HBase的1.2.3版本参照官网，对其常用配置参数进行翻译说明，供查阅。
二、配置参数说明

 


	
	
		hbase.tmp.dir
		${java.io.tmpdir}/hbase-${user.name}
		Temporary directory on the local filesystem.
			Change this setting to

			
		

	





	

		

			

				
					
【HBase从入门到精通系列】如何避免HBase写入过快引起的各种问题

				
			

			

				

					weixin_33989058的博客
				

				

					04-02
					
					495
					
				

			

		

		

			
				
首先我们简单回顾下整个写入流程
client api ==> RPC ==>  server IPC ==> RPC queue ==> RPC handler ==> write WAL ==> write memstore ==> flush to  filesystem
整个写入流程从客户端调用API开始，...

			
		

	





	

		

			

				
					
hbase错误本

				
			

			

				

					epitomizelu的专栏
				

				

					05-27
					
					630
					
				

			

		

		

			
				
1，Hbase报错解决方法ERROR: KeeperErrorCode = NoNode for /hbase/master
hbase挂了，重启hbase
2，java客户端连接hbase超级慢
首先是连接zookeeper的主机名写错了。
后来是hbase挂了



			
		

	





	

		

			

				
					
HBase源码分析之HRegionServer上MemStore的flush处理流程（一）

				
			

			

				

					weixin_33701294的博客
				

				

					02-29
					
					159
					
				

			

		

		

			
				
在《HBase源码分析之HRegion上MemStore的flsuh流程（一）》、《HBase源码分析之HRegion上MemStore的flsuh流程（二）》等文中，我们介绍了HRegion上Memstore
 flush的主体流程和主要细节。但是，HRegion只是HBase表中按照行的方向对一片连续的数据区域的抽象，它并不能对外提...

			
		

	





	

		

			

				
					
定时任务之不明显的错误导致任务失败

				
			

			

				

					mtj66的博客，交流WX:SpringBreeze1104
				

				

					01-19
					
					1464
					
				

			

		

		

			
				
exception ： hdfs file not find  
Caused by: org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): File does not exist: /user/hive/warehouse/cproject.db/cplatform_map_today/part-00176

			
		

	





	

		

			

				
					
ZooKeeper运行报错KeeperErrorCode = NoNode for .....

					
热门推荐

				
			

			

				

					椰子真的是只猫
				

				

					08-22
					
					9万+
					
				

			

		

		

			
				
最近遇到一个很尴尬的报错，org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode KeeperErrorCode = NoNode for

			
		

	





	

		

			

				
					
HBase之Memstore刷写

				
			

			

				

					江河万川
				

				

					08-25
					
					7158
					
				

			

		

		

			
				
Hbase—Memstore
HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读数据；这里主要介绍写数据的部分，即Memstore。
当RegionServer(RS)收到写请求的时候(writerequest)，RS会将请求转至相应的Region。每一个Region都存储着一些列(a
 set of

			
		

	





	

		

			

				
					
zookeeper的重连思考

				
			

			

				

					xiaolang85的专栏
				

				

					05-23
					
					3479
					
				

			

		

		

			
				
先谈谈watcher和watcheEvent

刚学zookeeper的时候，都会被坑一次，以为watcher的监听是永久的。其实不然，watcher在大多数时候都只调用一次。
zookeeper使用HashMap维护了所有路径的watcher，
private static class ZKWatchManager implements ClientWatchManager {    


			
		

	





	

		

			

				
					
HBase分布式数据库技术详解

				
			

			

				

					
				

			

		

		

			
				
HBase数据库  HBase 是一个分布式的、面向列的开源数据库，来源于 Google 论文 “Bigtable：一个结构化数据的分布式存储系统”。HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力，作为 Apache 的 Hadoop 项目的子...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值