hbase优化GC

最新推荐文章于 2022-10-29 22:28:58 发布
最新推荐文章于 2022-10-29 22:28:58 发布
阅读量322 收藏
点赞数
分类专栏： hbase 文章标签： hbase 优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Warm_days/article/details/78959429
版权

修改 hbase-env.sh文件
对其中的堆大小进行设置：
export HBASE_OPTS=”-Xms268435456 -Xmx268435456 -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+CMSIncrementalMode -Djava.net.preferIPv4Stack=true $HBASE_OPTS”
使用了标志-XX:+HeapDumpOnOutOfMemoryError，JVM会在遇到OutOfMemoryError时拍摄一个“堆转储快照”，并将其保存在一个文件中。
设置虚拟机参数为：-Xmx40m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=E:\Java\dump

warm_days
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase GC优化
duanbiren123的博客
11-12 274
编辑配置文件 编辑 hbase-env.sh export HBASE_OPTS="$HBASE_OPTS -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+UseCMSCompactAtFullCollection -XX:CMSFullG...
HBASE优化总结
12-03
《HBASE优化总结》 HBASE作为分布式列式存储系统，其性能优化是提升系统效率的关键环节。在处理大规模数据时，尤其需要注意硬件配置、参数调整以及程序设计等多个层面的问题。以下将对这些方面进行详细阐述。 首先...
082 HBase的几种调优（GC策略，flush，compact，split）
weixin_34378969的博客
12-13 201
一：GC的调优 1.jvm的内存 　　新生代：存活时间较短，一般存储刚生成的一些对象 　　老年代：存活时间较长，主要存储在应用程序中生命周期较长的对象 　　永久代：一般存储meta和class的信息   2.GC策略 　　Parrallel New Collector，垃圾回收策略 　　并行标记回收器（Concurrent Mark-Sweep Collector）   3.Parrall...
HBase-GC性能优化
z7one
02-24 525
1 JVM调优 1.1 堆内存 默RegionServer的堆内存为1G，这里Memstore默认站40%，也就是400M，在实际场景中很容易因为Memstore太小导致阻塞，修改参数,在cong/hbase-env.sh： export HBASE_HEAPSIZE=8G 该参数会将Master和RegionServer的堆内存都设置为8G，所以有需要的话尽量使用专用的堆内存设置项： export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xms4g -
HBase最佳实践－CMS GC调优（从gc本身参数调优）
weixin_33854644的博客
04-02 829
同志们，此部分，重要的不能再重要了1、HBase发展到当下，对其进行的各种优化从未停止，而GC优化更是其中的重中之重。hbase gc调优方向从0.94版本提出MemStoreLAB策略、Memstore Chuck Pool策略对写缓存Memstore进行优化开始，到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化，再到后续2.0版本宣称会引入更多堆外内...
HBase之CMS GC调优
happy19870612's blog
11-14 709
HBase发展到现在，各种优化从未停止，GC优化更是重中之重，比如0.94版本提出的MemStoreLAB，MemStore Chunk Pool策略对写缓存MemStore进行优化开始，到0.96版本提出的BucketCache对外内存方案对读缓存BlockCache的优化等，然而无论什么对外内存，都无法避免使用JVM 内存。   一 CMS GC的工作原理 1.1 整个JVM内存由You
HBase优化-系统架构
最新发布
11-28
【HBase优化-系统架构】主要探讨了针对HBase性能的优化策略，特别是从系统架构层面进行调优的方法。HBase作为一个分布式、列族式的NoSQL数据库，性能优化至关重要，尤其是对于大数据处理场景。 首先，关注到配置...
hbase优化总结
06-20
hbase优化总结 HBase 是一个基于列存储的 NoSQL 数据库，广泛应用于大数据存储和处理领域。然而，在实际应用中，HBase 的性能优化变得至关重要。本文档旨在总结 HBase 的优化方法，对项目中使用 HBase 的调优提供...
HBase最佳实践－列族设计优化
02-26
随着大数据的越来越普及，HBase也变得...笔者总结至少有如下几个方面：HDFS相关配置优化，HBase服务器端优化（GC优化、Compaction优化、硬件配置优化），列族设计优化，客户端优化等，其中客户端优化在前面已经通过超
Hbase GC调优原理分析
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
03-10 4865
实践中，HBase使用的内存不断增长，但JDK可用的垃圾收集算法仍然相同。这导致了HBase的许多用户的一个主要问题：随着Java使用堆大小继续增长，垃圾回收导致的“stop-the-world”时间变得越来越长。这在实践中意味着什么？ 在垃圾回收导致的“stop-the-world”期间，任何到HBase客户端请求都不会被处理，造成用户可见的延迟，甚至超时。如果因为暂停导致请求超过一分钟响应，H...
HBase GC的前生今世 － 身世篇
热门推荐
vcould163的博客
05-23 1万+
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PAAS服务，在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云的技术专家给大家分享一则技术文：HBase GC的前生今世 － 身世篇。 在之前的HBase BlockCac
Hbase GC调优
qq_37706484的博客
10-18 545
CMS GC 并发标记清除算法 打印日志信息 -verbose:gc -XX:+PrintGCDetails ## 输出GC详细日志 -XX:+PrintGCTimeStamps ## 输出GC的时间戳（以基准时间的形式） -XX:+PrintHeapAtGC...
HBase GC的前生今世 – 演进篇
weixin_34356310的博客
08-01 129
最原始的HBase CMS GC相当严重，经常会因为碎片过多导致Promotion Failure，严重影响业务的读写请求。幸运的是，HBase并没有止步不前，很多优化方案相继被提出并贡献给社区，本文要介绍的就是几个比较重要的核心优化，分别是针对Memstore所作的两个优化：Thread-Local Allocation Buffer和MemStore...
HBase的gc调优，为什么
东城庞太师
05-29 349
大多数Hadoop客户以至少24G内存运行Hadoop,HBase使用的内存不断增长，但JDK可用的垃圾收集算法仍然相同。这导致了HBase的许多用户的一个主要问题：随着Java使用堆大小继续增长，垃圾回收导致的垃圾回收时停止程序所占用的时间变得越来越长。在垃圾回收导致的“stop-the-world”期间，任何到HBase客户端请求都不会被处理，造成用户可见的延迟，甚至超时。如果因为暂停导致请求超过一分钟响应，HBase本身也可能会停止. HBase依赖Apache Zookeeper的管理群集成员和生
HBase调优|HBase + G1GC 性能调优
微信搜：import_bigdata，大数据领域硬核原创作者
10-13 1153
有需要加入Hbase讨论组的同学直接私聊我回复：Hbase加群，拉你进官方讨论群。目前小米已经在线上开始大规模使用G1垃圾回收算法，在论坛中也看到一些朋友在讨论使用G1碰...
堆优化器(Heap-Based Optimizer, HBO)
qq_18823753的博客
10-29 917
HBO将CRH思想映射分为四个步骤： 1. 对公司等级制度(CRH)进行建模； 2. 对下属与直属上司之间的互动进行数学建模； 3. 对同事之间的互动进行数学建模； 4. 雇员为完成某项任务而作出的贡献。
【2016 ACM/ICPC Asia Regional Qingdao Online】
dingguayi7025的博客
09-18 141
[ HDU 5878 ]I Count Two Three 考虑极端，1e9就是2的30次方，3的17次方，5的12次方，7的10次方。 而且，不超过1e9的乘积不过5000多个，于是预处理出来，然后每次二分找就可以了。 1 /* 2 TASK:I Count Two Three 2^a*3^b*5^c*7^d的最小的大于等于n的数是多少 3 LANG:C++ ...
HBase 如何避免 Full GC ？
Shockang的博客
07-03 1114
随着 JVM 堆内存的越大，Full GC 的时间变得很久，Full GC 有时候可以达到好几分钟。在 Ful1 GC 的时候 JVM 会停止响应任何的请求，整个 JVM 的世界就像是停止了一样，所以这种暂停又被叫做 Stop-The-World(STW)。当 ZooKeeper 像往常一样通过心跳来检测 RegionServer 节点是否存活的时候，发现已经很久没有接收到来自 RegionServe...
记录偶现的hbase长时间gc的问题和解决方法
apply_bomb的博客
05-03 3127
生产环境每隔一段时间就会出现一次长时间gc的问题，gc时间经常长达200秒，hbase日志如下 2022-03-25 16:53:46,892 WARN [JvmPauseMonitor] util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC): pause of approximately 290276ms GC pool 'ParNew' had collection(s): count=1 time=333ms GC
使用CCSMap优化HBase年轻代GC时间
在这个技术分享中，阿里巴巴的技术专家Chance Li、李强（强思）、Lijin Bin（宾利金，天照）探讨了如何利用CCSMap（Compact Contiguous Space Map）来优化HBase的垃圾收集（YGC）时间和对服务质量（SLA）改进的努力...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值