Hbase集群优化信息-平台优化是为了在程序运行调用的过程中
1:保障程序正常执行
2:给程序提供较优的执行环境
1:针对Hbase优化信息
如果集群内存够用的话,建议关闭交换区,直接使用物理内存
关闭内存空间或者调整交换空间大小
Linux默认交换空间为60;查看路径:/proc/sys/vm/swappiness
如果需要关闭内存空间将改值设置为0
Sysctl -w vm.swappiness=0
如果内存空间不太充足的话,可以将该参数调小
Sysctl -w vm.swappiness=5
也可以在Linux系统中手动释放交换空间命令:
Linux swapoff命令用于关闭系统交换区(swap area), -a代表all
swapoff -a 全部关闭交换空间
swapon -a 全部开启交换空间
完成交换空间释放
2:调整参数优化Hbase
调整参数:HBase Master 的 Java 配置选项 【百度解释调整方向】
-Xmx4g:设置应用程序(不是JVM)最大可用的内存为4g
-Xms2g:设置程序初始化的时候内存栈的大小,
-Xmn128M:JVM启动时分配的内存
HBase RegionServer 的 Java 配置选项
HBase REST Server 的 Java 堆栈大小(字节)
CM中Hbase参数设置
1:配置:客户端Java堆大小(字节) 256兆字节
原因:客户端java堆大小是相对客户端来说,所有不需要很大
2:配置:HbaseRESTServer的Java堆栈大小(字节) 256兆字节
原因:HbaseRESTServer和HbaseTriftSever是除了java之外其他客户端访问Hbase所需,所以也不需要很大,256M足够,后期可以根据访问的语言来进行调整(如果有需要,可以都调整到2G)
3:HbaseMaster的Java堆栈大小 1G
原因:后期看日志,如果GC时间长,可以向上调整。主要看集群具体情况
4:HbaseRegionServer的java堆栈大小 4G
总结:如果Hbase的RegionSever退出,并且没有打印错误日志,那么先检查Hbase的内存设置
拓展:JVM相关参数设置
1:堆设置
- -Xms :初始堆大小
- -Xmx :最大堆大小
- -XX:NewSize=n :设置年轻代大小
- -XX:NewRatio=n: 设置年轻代和年老代的比值。如:为3,表示年轻代与年老代比值为1:3,年轻代占整个年轻代年老代和的1/4
- -XX:SurvivorRatio=n :年轻代中Eden区与两个Survivor区的比值。注意Survivor区有两个。如:3,表示Eden:Survivor=3:2,一个Survivor区占整个年轻代的1/5
- -XX:MaxPermSize=n :设置持久代大小
2:收集器设置
- -XX:+UseSerialGC :设置串行收集器
- -XX:+UseParallelGC :设置并行收集器
- -XX:+UseParalledlOldGC :设置并行年老代收集器
- -XX:+UseConcMarkSweepGC :设置并发收集器
3:垃圾回收统计信息
- -XX:+PrintGC
- -XX:+PrintGCDetails
- -XX:+PrintGCTimeStamps
- -Xloggc:filename
4:并行收集器设置
- -XX:ParallelGCThreads=n :设置并行收集器收集时使用的CPU数。并行收集线程数。
- -XX:MaxGCPauseMillis=n :设置并行收集最大暂停时间
- -XX:GCTimeRatio=n :设置垃圾回收时间占程序运行时间的百分比。公式为1/(1+n)
5:并发收集器设置
- -XX:+CMSIncrementalMode :设置为增量模式。适用于单CPU情况。
- -XX:ParallelGCThreads=n :设置并发收集器年轻代收集方式为并行收集时,使用的CPU数。并行收集线程数。
调优总结:
年轻代大小选择
-
- 响应时间优先的应用 :尽可能设大,直到接近系统的最低响应时间限制 (根据实际情况选择)。在此种情况下,年轻代收集发生的频率也是最小的。同时,减少到达年老代的对象。
- 吞吐量优先的应用 :尽可能的设置大,可能到达Gbit的程度。因为对响应时间没有要求,垃圾收集可以并行进行,一般适合8CPU以上的应用。
年老代大小选择
-
- 响应时间优先的应用 :年老代使用并发收集器,所以其大小需要小心设置,一般要考虑并发会话率 和会话持续时间 等一些参数。如果堆设置小了,可以会造成内存碎片、高回收频率以及应用暂停而使用传统的标记清除方式;如果堆大了,则需要较长的收集时间。最优化的方案,一般需要参考以下数据获得:
- 并发垃圾收集信息
- 持久代并发收集次数
- 传统GC信息
- 花在年轻代和年老代回收上的时间比例
- 响应时间优先的应用 :年老代使用并发收集器,所以其大小需要小心设置,一般要考虑并发会话率 和会话持续时间 等一些参数。如果堆设置小了,可以会造成内存碎片、高回收频率以及应用暂停而使用传统的标记清除方式;如果堆大了,则需要较长的收集时间。最优化的方案,一般需要参考以下数据获得:
减少年轻代和年老代花费的时间,一般会提高应用的效率
-
- 吞吐量优先的应用 :一般吞吐量优先的应用都有一个很大的年轻代和一个较小的年老代。原因是,这样可以尽可能回收掉大部分短期对象,减少中期的对象,而年老代尽存放长期存活对象。
- 较小堆引起的碎片问题
因为年老代的并发收集器使用标记、清除算法,所以不会对堆进行压缩。当收集器回收时,他会把相邻的空间进行合并,这样可以分配给较大的对象。但是,当堆空间较小时,运行一段时间以后,就会出现“碎片”,如果并发收集器找不到足够的空间,那么并发收集器将会停止,然后使用传统的标记、清除方式进行回收。如果出现“碎片”,可能需要进行如下配置:- -XX:+UseCMSCompactAtFullCollection :使用并发收集器时,开启对年老代的压缩。
- -XX:CMSFullGCsBeforeCompaction=0 :上面配置开启的情况下,这里设置多少次Full GC后,对年老代进行压缩
3:针对HDFS调优 --占位抽空整理
客户端 Java 堆大小(字节)
Secondary NameNode 的 Java 堆栈大小(字节)
4:针对YARN调优--占位抽空整理
JobHistory Server 的 Java 堆栈大小(字节)
NodeManager 的 Java 堆栈大小(字节)
容器内存
最大容器内存
增:
-Xmx:JVM最大内存
-Xms:JVM初始堆内存
-Xss:设置每个线程栈大小
-Xmn:设置年轻代大小2G
-XX:NewSize 设置年轻代的初始值
-XX:MaxNewSize 设置年轻代最大值
-XX:PermSize 设置持久代初始值
-xx:MaxPerSize 设置持久代最大值
-xx:NewRatio=4 设置年轻代与老年代的比值 表示年轻代与老年代的比值1:4
JVM优先级:高优先级:-XX:NewSize/-XX:MaxNewSize
中优先级:-Xmn(默认等效 -Xmn=-XX:NewSize=-XX:MaxNewSize=?)
低优先级:-XX:NewRatio
垃圾回收器选择
JVM给出了3种选择:串行收集器、并行收集器、并发收集器。串行收集器只适用于小数据量的情况,所以生产环境的选择主要是并行收集器和并发收集器。
默认情况下JDK5.0以前都是使用串行收集器,如果想使用其他收集器需要在启动时加入相应参数。JDK5.0以后,JVM会根据当前系统配置进行智能判断
串行收集器
并行收集器(吞吐量优先)
并发收集器(响应时间优先)
调优原则:
-Xmx 与 -Xms 相同以避免JVM反复重新申请内存。-Xmx 的大小约等于系统内存大小的一半,即充分利用系统资源,又给予系统安全运行的空间。
-Xmn1256m 设置年轻代大小为1256MB。此值对系统性能影响较大,Sun官方推荐配置年轻代大小为整个堆的3/8。
-Xss128k 设置较小的线程栈以支持创建更多的线程,支持海量访问,并提升系统性能。