一次对HBase协处理器的内存耗尽问题的GC分析和解决

最新推荐文章于 2022-05-03 21:39:05 发布
最新推荐文章于 2022-05-03 21:39:05 发布
阅读量2.5k 收藏
点赞数
分类专栏： 精华 文章标签： coprocessor hbase 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cmdssd1/article/details/51775962
版权

1.GC Dump文件获取

（1）修改GC配置，手动启动region server

 
 

 
 

  
  

   
   

    
    1
   
   

   
   

    
    2
   
   

   
   

    
    3
   
   

   
   

    
    4
   
   

   
   

    
    5
   
   

   
   

    
    6
   
   

  
  

  
  

 
 

 
 

  
  

   
   

    
    

   
   

   
   

    
    

    
    

    
    

   
   

   
   

    
    

     
     

      
      cd 
      
      /
      
      etc
      
      /
      
      hbase
      
      /
      
      conf
      
      /  
     
     

    
    

    
    

     
     

      
      vim 
      
      hbase
      
      -
      
      env.
      
      sh
     
     

    
    

    
    

     
     

      
      #修改export SERVER_GC_OPTS="verbose:gc -XX...."，增加"-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath
     
     

     
     

      
      =/var/log/hbase/"
     
     

    
    

    
    

     
     

      
      :
      
      wq
     
     

    
    

    
    

     
     

      
      cd 
      
      /
      
      usr
      
      /
      
      lib
      
      /
      
      hbase
      
      /
      
      bin
      
      /
     
     

    
    

    
    

     
     

      
      .
      
      /
      
      hbase
      
      -
      
      daemon.
      
      sh 
      
      --
      
      config 
      
      /
      
      etc
      
      /
      
      hbase
      
      /
      
      conf 
      
      start 
      
      regionserver

（2）启动脚本

87机器

－减少heap size

注意dump文件较大，脚本可能跑不起来，需要减少regionserver heap memory

配置方式也在hbase-env.sh当中

－切换用户

 
 

  
  

 
 

 
 

  
  

   
   

    
    

   
   

   
   

    
    

   
   

   
   

    
    

     
     

      
      su 
      
      - 
      
      hbase

－重启region server

 
 

 
 

  
  

 
 

 
 

  
  

   
   

    
    

   
   

   
   

    
    

   
   

   
   

    
    

     
     

      
      cd 
      
      /
      
      usr
      
      /
      
      lib
      
      /
      
      hbase
      
      /
      
      bin
      
      /
     
     

    
    

    
    

     
     

      
      .
      
      /
      
      hbase
      
      -
      
      daemon.
      
      sh 
      
      --
      
      config 
      
      /
      
      etc
      
      /
      
      hbase
      
      /
      
      conf 
      
      restart 
      
      regionserver  

－查看regionserver进程

 
 

 
 

  
  

 
 

 
 

  
  

   
   

    
    

   
   

   
   

    
    

   
   

   
   

    
    

     
     

      
      ps 
      
      -
      
      ef|
      
      grep 
      
      hbase

－运行脚本

 
 

 
 

  
  

   
   

    
    

   
   

   
   

    
    

   
   

   
   

    
    

     
     

      
      cd 
      
      ~/
      
      zhangs
      
      /
     
     

    
    

    
    

     
     

      
      python 
      
      large.
      
      py  

－记录运行结果

 得到

 java_pidxxxxx.hprof

2.分析Dump文件

使用Eclipse的工具（可以单独下载）Eclipse Memory Analyzer(EMA)分析：

分析上图，不难看出Coprocessor占据了JVM内存的95%以上

 

 

 

通过上面两个结果，可以看出，主要的内存消耗出现在


  
  

  
  

   
   

  
  

  
  

   
   

    
    

     
     

    
    

    
    

     
     

    
    

    
    

     
     

      
      
 
       org. 
       elasticsearch. 
       action. 
       bulk. 
       BulkRequest  

内含的


  
  

  
  

   
   

  
  

  
  

   
   

    
    

     
     

    
    

    
    

     
     

    
    

    
    

     
     

      
      
 
       org. 
       elasticsearch. 
       action. 
       update. 
       UpdateRequest  

的ArrayList当中

3.增加代码的测试方法

可能是Elasticsearch写不进去导致的，增加测试index到es的测试代码，得到异常：

org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available: []
at org.elasticsearch.client.transport.TransportClientNodesService.ensureNodesAreAvailable(TransportClientNodesService.java:305)
at org.elasticsearch.client.transport.TransportClientNodesService.execute(TransportClientNodesService.java:200)
at org.elasticsearch.client.transport.support.InternalTransportClient.execute(InternalTransportClient.java:106)
at org.elasticsearch.client.support.AbstractClient.bulk(AbstractClient.java:167)
at org.elasticsearch.client.transport.TransportClient.bulk(TransportClient.java:370)
at org.elasticsearch.action.bulk.BulkRequestBuilder.doExecute(BulkRequestBuilder.java:166)
at org.elasticsearch.action.ActionRequestBuilder.execute(ActionRequestBuilder.java:91)
at org.elasticsearch.action.ActionRequestBuilder.execute(ActionRequestBuilder.java:65)
at com.gavin.observer.ElasticSearchOperator.bulkRequest(ElasticSearchOperator.java:55)
at com.gavin.observer.ElasticSearchOperator.access$100(ElasticSearchOperator.java:23)
at com.gavin.observer.ElasticSearchOperator$CommitTimer.run(ElasticSearchOperator.java:108)
at java.util.TimerThread.mainLoop(Timer.java:555)
at java.util.TimerThread.run(Timer.java:505)

4.增加日志 

我们在每次操作缓存ConcurrentHashMap的上锁前和解锁后，都增加了log

发现：

1.一个注释为“定时任务，避免RegionServer迟迟无数据更新，导致ElasticSearch没有与HBase同步”的Timer

这个Timer在调度后，会打断最终一个提交给ES的request，产生上面的异常

我们注释掉了这个Timer，继续执行，发现其他的异常：

 
 

 
 

  
  

   
   

    
    1
   
   

  
  

  
  

 
 

 
 

  
  

   
   

    
    

   
   

   
   

    
    

   
   

   
   

    
    

     
     

      
      org.
      
      elasticsearch.
      
      action.
      
      actionrequestvalidationexception 
      
      validation 
      
      failed 
      
      1 
      
      script 
      
      or 
      
      doc 
      
      is 
      
      missing

参考了：http://stackoverflow.com/questions/32329127/elasticsearch-java-bulk-upsert-exception 两个答案的解决方法

重新打包，测试，根据打出的日志，可以看出更新请求成功了

 

注意：

1. 我们在测试代码中，使用 addTransportAddress时，使用了两个端口：1092 和 1093.

代码对 1092这个配置 会继续抛出异常:

 
 

  
  

   
   

    
    

   
   

   
   

    
    

   
   

   
   

    
    

     
     

      
      16
      
      /
      
      06
      
      /
      
      28 
      
      17:
      
      15:
      
      48 
      
      INFO 
      
      client.
      
      transport: 
      
      [
      
      Grenade
      
      ] 
      
      failed 
      
      to 
      
      get 
      
      node 
      
      info 
      
      for 
      
      [#
      
      transport#
      
      -
      
      1
      
      ]
      
      [
      
      byd0151
     
     

     
     

      
      ]
      
      [
      
      inet
      
      [
      
      /
      
      192.168.0.160:
      
      1092
      
      ]], 
      
      disconnecting...
     
     

    
    

    
    

     
     

      
      org.
      
      elasticsearch.
      
      transport.
      
      ReceiveTimeoutTransportException: 
      
      [
      
      ]
      
      [
      
      inet
      
      [
      
      /
      
      192.168.0.160:
      
      1092
      
      ]]
      
      [
      
      cluster
     
     

     
     

      
      :
      
      monitor
      
      /
      
      nodes
      
      /
      
      info
      
      ] 
      
      request_id 
      
      [
      
      2
      
      ] 
      
      timed 
      
      out 
      
      after 
      
      [
      
      5000
      
      ms
      
      ]
     
     

    
    

    
    

     
     

      
              
      
      at 
      
      org.
      
      elasticsearch.
      
      transport.
      
      TransportService
      
      $TimeoutHandler.
      
      run
      
      (
      
      TransportService.
      
      java:
      
      529
      
      )
     
     

    
    

    
    

     
     

      
              
      
      at 
      
      java.
      
      util.
      
      concurrent.
      
      ThreadPoolExecutor.
      
      runWorker
      
      (
      
      ThreadPoolExecutor.
      
      java:
      
      1142
      
      )
     
     

    
    

    
    

     
     

      
              
      
      at 
      
      java.
      
      util.
      
      concurrent.
      
      ThreadPoolExecutor
      
      $Worker.
      
      run
      
      (
      
      ThreadPoolExecutor.
      
      java:
      
      617
      
      )
     
     

    
    

    
    

     
     

      
              
      
      at 
      
      java.
      
      lang.
      
      Thread.
      
      run
      
      (
      
      Thread.
      
      java:
      
      745
      
      )

 这个时配置错误导致的，1092端口是http端口，Java API使用的是1093 这个 TCP端口，删除错误后，异常消失。

 2. 对于这个Timer，我们删掉之后，可能存在一定问题，

但是缓冲区最多10个请求，如果是统计用途，大数据量可以忽略


 

 

 

 

cmdssd1
关注
专栏目录
大数据HBase（十六）：HBase的协处理器(Coprocessor)
Lansonli（蓝深李）的博客
07-28 3938
全网最详细的大数据HBase文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 目录 系列历史文章 HBase的协处理器(Coprocessor) 一、起源 二、协处理器主要的分类 三、HBase的协处理器_ObServer 四、HBase的协处理器_Endpoint 五、概念总结 六、HBase的协处理器总结 系列历史文章 2021年大数据HBase（十六）：HBase的协处理器(Coprocessor) 2021年大数据HBas..
HBase优化策略及协处理器
diao狮狼的那点事
06-18 873
服务端优化 什么导致HBase性能下降 Jvm内存分配与GC回收策略 HBase运行机制相关的配置分配不合理 表结构设计及用户使用方式不合理 HBase数据存储过程 HBase写入时当memstore达到一定大小会flush到磁盘保存成HFile，当HFile小文件太多回执行compact操作进行合并（compact就是将很多小文件合并成一个大文件的过程。compact分为minor c...
针对HBase的Java GC调优
AlbertLee1的博客
06-04 4155
最近公司业务量上涨，同时受成本预算控制，短期内无法扩容RegionServer，所以在调研HBase配置和GC参数调优的调研。本文在GC方面比较有启发意义，所以翻译出来。
HBase GC故障排查
define_us的专栏
10-11 2078
现象 那是系统阳光明媚的一天。HBase在日常进行自己的minor gc，清理自己的新生代。 2018-10-09T09:00:56.550+0800: 351217.975: [GC (Allocation Failure) 2018-10-09T09:00:56.550+0800: 351217.975: [ParNew: 2830029K->137329K(3015488K), 0.0...
记录偶现的hbase长时间gc的问题和解决方法
apply_bomb的博客
05-03 3289
生产环境每隔一段时间就会出现一次长时间gc的问题，gc时间经常长达200秒，hbase日志如下 2022-03-25 16:53:46,892 WARN [JvmPauseMonitor] util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC): pause of approximately 290276ms GC pool 'ParNew' had collection(s): count=1 time=333ms GC
hbase的rowkey设计与hbase的协处理器运用.docx
09-01
HBase 协处理器是一种高级的数据处理机制，可以对数据进行实时处理和分析。协处理器可以应用于数据清洁、数据转换、数据聚合等场景。 HBase 是一个功能强大且高性能的 NoSQL 数据库，具有广泛的应用前景。 RowKey ...
【HBase】HBase 协处理器
w1992wishes的博客
08-03 1505
文章目录一、协处理器的产生二、协处理器的类型2.1、Observer2.1.1、适用场景2.1.2、Observer 类型2.1.3、执行流程2.2.4、Observer Example2.2、Endpoint2.2.1、适用场景2.2.2、执行流程2.2.3、Endpoint Example三、协处理的加载方式3.1、静态加载与卸载3.1.1、静态加载3.1.2、静态卸载3.2、动态加载与卸载3...
Hbase协处理器详解.md
最新发布
08-07
Hbase协处理器详解，进阶篇
基于协处理器的HBase内存索引机制的研究.pdf
09-25
2. 数据分析和挖掘：基于协处理器的HBase内存索引机制可以应用于数据分析和挖掘领域，提高数据处理和分析的效率和准确性。 3. 云计算和分布式系统：基于协处理器的HBase内存索引机制可以应用于云计算和分布式系统...
hbase 数据量和cpu的关系
vbaspdelphi的专栏
02-15 1659
hbase 数据量和cpu的关系 貌似有正向关系。
阿里HBase的GC优化实践，能够降低java垃圾回收时间！
weixin_33923762的博客
11-30 199
GC一直是Java应用中讨论的一个热门话题，尤其在像HBase这样的大型在线存储系统中，大堆下(百GB)的GC停顿延迟产生的在线实时影响，成为内核和应用开发者的一大痛点。过去的一年里，我们准备在Ali-HBase上突破这个被普遍认知的痛点，为此进行了深度分析及全面创新的工作，获得了一些比较好的效果。以蚂蚁风控场景为例，HBase的线上young GC时间从120ms减少到15ms，结合阿里巴巴JD...
hbase 队列满导致问题解决
Show something
11-22 3076
自从升级到了beh8.0后，3台实体机，机器配置128G*3, hbase经常性出现队列堆积； 出现队列堆积后，hbase服务基本处于拒绝服务的状态，产品对应监控服务停摆。 修复方式，首先关闭监控指标采集服务，避免造成更严重的后果。 此时按理来说应该等待服务消化堆积的队列数据，但是据几次观察，发现服务队列堆积没有缓解，判断是服务已经停止服务，最起码是regionserver停止了服务。 此...
HBase的gc调优，为什么
东城庞太师
05-29 375
大多数Hadoop客户以至少24G内存运行Hadoop,HBase使用的内存不断增长，但JDK可用的垃圾收集算法仍然相同。这导致了HBase的许多用户的一个主要问题：随着Java使用堆大小继续增长，垃圾回收导致的垃圾回收时停止程序所占用的时间变得越来越长。在垃圾回收导致的“stop-the-world”期间，任何到HBase客户端请求都不会被处理，造成用户可见的延迟，甚至超时。如果因为暂停导致请求超过一分钟响应，HBase本身也可能会停止. HBase依赖Apache Zookeeper的管理群集成员和生
hbase调优详解（1）服务器参数调优
Tableau1的博客
08-01 1307
一、服务器参数调优 1、hbase.regionserver.handler.count：增加服务器的处理线程数 hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10。这样设置的目的是防止服务器在某些情况吓出现内存耗尽的情况。 如果服务器上的可用内存较少，就应该将该属性设置为较低的值。如果每个请求只需要一点点的内存，但是每秒TPS却很高，...
hbase-rule-engine:使用 HBase 协处理器的分布式规则引擎
06-04
该项目展示了如何使用 HBase 区域观察者协处理器将流行的开源 Drool 规则引擎与 HBase 集成，以并行应用和执行规则。 这里，Drool 规则引擎位于 HBase 的数据路径上，并且能够为 HBase 表的每个请求触发（如果满足...
HBase 系列（八）——HBase协处理器
黑白影的博客
06-07 1160
一、简述 在使用HBase时，如果你的数据量达到了数十亿行或数百万列，此时能否在查询中返回大量数据将受制于网络的带宽，即便网络状况允许，但是客户端的计算处理也未必能够满足要求。在这种情况下，协处理器（Coprocessors）应运而生。它允许你将业务计算代码放入在RegionServer的协处理器中，将处理好的数据再返回给客户端，这可以极大地降低需要传输的数据量，从而获得性能上的提升。同时协处理器...
hbase占用内存过高_HBase的优化
weixin_39610759的博客
12-20 535
比如：原 本 rowKey 为1001的 ， SHA1 后 变 成 ：dd01903921ea24941c26a48f2cec24e0bb0e8cc7原 本 rowKey 为3001的 ， SHA1 后 变 成 ：49042c54de64a1e9bf0b33e00245660ef92dc7bd原 本 rowKey 为5001的 ， SHA1 后 变 成 ：7b61dec07e02c18879067...
批量写数据到hbase导致内存溢出
AntKengElephant的博客
09-04 1246
内存不够，需修改hadoop及hbase参数 mapred-site.xml <configuration> 增加以下内容 <property>    <name>mapred.task.java.opts</name>    <value>-Xmx4096m</value> </property> &
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值