高性能hbase配置

于 2022-10-10 14:53:07 发布
阅读量426 收藏 1
点赞数
分类专栏： Hadoop 文章标签： hbase 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/manweizhizhuxia/article/details/127244202
版权

hbase-env.sh

export HADOOP_HOME=/export/hadoop
export HADOOP_CONF_DIR=/export/common/hadoop/conf
export JAVA_HOME=/export/java
export HBASE_LOG_DIR=/export/hbase/logs
export HBASE_PID_DIR=/export/hbase/pid
export HBASE_MANAGES_ZK=false

export SERVER_GC_OPTS="$SERVER_GC_OPTS -XX:+PrintGCDetails"
export SERVER_GC_OPTS="$SERVER_GC_OPTS -XX:+PrintGCTimeStamps"
export SERVER_GC_OPTS="$SERVER_GC_OPTS -XX:+PrintGCDateStamps"
export SERVER_GC_OPTS="$SERVER_GC_OPTS -XX:+PrintClassHistogram"
export SERVER_GC_OPTS="$SERVER_GC_OPTS -XX:+PrintTenuringDistribution"
export SERVER_GC_OPTS="$SERVER_GC_OPTS -XX:+PrintGCApplicationStoppedTime"
export SERVER_GC_OPTS="$SERVER_GC_OPTS -XX:+PrintGCApplicationConcurrentTime"
export SERVER_GC_OPTS="$SERVER_GC_OPTS -XX:+PrintHeapAtGC"
export SERVER_GC_OPTS="$SERVER_GC_OPTS -XX:+UseBiasedLocking"
export SERVER_GC_OPTS="$SERVER_GC_OPTS -XX:+PrintSafepointStatistics"
export SERVER_GC_OPTS="$SERVER_GC_OPTS -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=2 -XX:GCLogFileSize=512M"

export HBASE_OPTS="-XX:+UseG1GC"


# jvm调优
export HBASE_REGIONSERVER_OPTS=" -XX:+UseG1GC -XX:MaxGCPauseMillis=100 -XX:+UnlockExperimentalVMOptions -XX:+ParallelRefProcEnabled -XX:ConcGCThreads=11 -XX:ParallelGCThreads=22 -XX:G1NewSizePercent=2 -XX:G1MaxNewSizePercent=20 -XX:MaxTenuringThreshold=1 -XX:G1HeapRegionSize=32m -XX:G1MixedGCCountTarget=16 -XX:InitiatingHeapOccupancyPercent=65 -XX:MaxDirectMemorySize=105g -XX:G1OldCSetRegionThresholdPercent=5 -XX:G1HeapWastePercent=10 -Xmx20g -Xms20g -XX:+PrintGCDetails "

export HBASE_HEAPSIZE=23552
export HBASE_OFFHEAPSIZE=23G

hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://bigdata/hbase</value>
</property>

<property>
    <name>dfs.support.append</name>
    <value>true</value>
</property>

<property>
     <name>hbase.replication</name>
     <value>true</value>
</property>
<property>
     <name>hbase.client.write.buffer</name>
     <value>16777216</value>
</property>

<property>
     <name>hbase.zookeeper.property.maxClientCnxns</name>
     <value>4096</value>
</property>

<property>
    <name>hbase.client.pause</name>
    <value>100</value>
</property>
<property>
     <name>hbase.client.retries.number</name>
     <value>35</value>
</property>
<property>
    <name>hbase.client.scanner.caching</name>
    <value>100</value>
</property>
<property>
    <name>hbase.client.keyvalue.maxsize</name>
    <value>10485760</value>
</property>
<property>
    <name>hbase.regionserver.thrift.http</name>
    <value>false</value>
</property>
<property>
    <name>hbase.master.port</name>
    <value>60000</value>
</property>
<property>
    <name>hbase.master.info.port</name>
    <value>60010</value>
</property>
<property>
    <name>hbase.regionserver.port</name>
    <value>60020</value>
</property>
<property>
    <name>hbase.regionserver.info.port</name>
    <value>60030</value>
</property>

<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>

<property>
   <name>hbase.thrift.support.proxyuser</name>
   <value>false</value>
</property>
<property>
    <name>hbase.rpc.timeout</name>
    <value>60000</value>
</property>
<property>
     <name>hbase.snapshot.enabled</name>
     <value>true</value>
</property>
<property>
      <name>hbase.snapshot.master.timeoutMillis</name>
      <value>60000</value>
</property>
<property>
    <name>hbase.snapshot.region.timeout</name>
    <value>60000</value>
</property>
<property>
    <name>hbase.snapshot.master.timeout.millis</name>
    <value>60000</value>
</property>

<property>
     <name>zookeeper.session.timeout</name>
     <value>1200000</value>
</property>

<property>
    <name>hbase.regionserver.restart.on.zk.expire</name>
    <value>true</value>
</property>

<property>
    <name>hbase.regionserver.handler.count</name>
    <value>1900</value>
</property>

<property>
   <name>ipc.server.max.callqueue.length</name>
   <value>19000</value>
</property>

<property>
   <name>hbase.ipc.warn.response.time</name>
   <value>400</value>
</property>

<property>
   <name>hbase.regionserver.global.memstore.size.lower.limit</name>
   <value>0.15</value>
</property>

<property>
   <name>hbase.hregion.memstore.flush.size</name>
   <value>268435456</value>
</property>

<property>
   <name>hbase.hregion.memstore.block.multiplier</name>
   <value>2</value>
</property>

<property>
   <name>hbase.hstore.blockingStoreFiles</name>
   <value>100</value>
</property>

<property>
   <name>hbase.hstore.compaction.max</name>
   <value>10</value>
</property>

<property>
   <name>hbase.hstore.compaction.min</name>
   <value>3</value>
</property>

<property>
    <name>hbase.master</name>
    <value>60000</value>
</property>


<property>
    <name>hbase.zookeeper.quorum</name>
    <value>192.168.56.70:2181,192.168.56.71:2181,192.168.56.72:2181</value>
</property>


<property>
    <name>zookeeper.znode.parent</name>
    <value>/hbase</value>
</property>

<property>
   <name>hbase.regionserver.optionalcacheflushinterval</name>
   <value>86400000</value>
</property>

<property>
   <name>hbase.hregion.majorcompaction</name>
   <value>0</value>
</property>

<property>
    <name>hbase.coprocessor.user.region.classes</name>
    <value>org.apache.hadoop.hbase.coprocessor.AggregateImplementation</value>
</property>

<property>
    <name>hbase.balancer.period</name>
    <value>1200000</value>
</property>
<property>
    <name>hbase.hregion.max.filesize</name>
    <value>53687091200</value>
</property>
<property>
    <name>hbase.bucketcache.ioengine</name>
    <value>offheap</value>
</property>
<property>
    <name>hfile.block.cache.size</name>
    <value>0.6</value>
</property>
<!-- BucketCache所占的大小，如果设置为0.0-1.0 ，则代表占堆内存的百分比; -->
<!-- 如果大于1，则代表实际的BucketCache的大小，单位为MB。 默认值为0.0，即关闭BucketCache -->
<property>
     <name>hbase.bucketcache.size</name>
     <value>102400</value>
</property>

<property>
     <name>hbase.regionserver.executor.openregion.threads</name>
     <value>100</value>
</property>

<property>
     <name>phoenix.schema.isNamespaceMappingEnabled</name>
     <value>true</value>
</property>

<property>
     <name>phoenix.schema.mapSystemTablesToNamespace</name>
     <value>true</value>
</property>
<!-- kerberos认证; -->
<property>
    <name>hbase.security.authentication</name>
    <value>kerberos</value>
</property>

<property>
    <name>hbase.rpc.engine</name>
    <value>org.apache.hadoop.hbase.ipc.SecureRpcEngine</value>
</property>

<property>
    <name>hbase.regionserver.kerberos.principal</name>
    <value>hbase/_HOST@{KDC_REALM}</value>
</property>

<property>
    <name>hbase.regionserver.keytab.file</name>
    <value>/export/common/hbase/conf/hbase.keytab</value>
</property>

<property>
    <name>hbase.master.kerberos.principal</name>
    <value>hbase/_HOST@{KDC_REALM}</value>
</property>

<property>
    <name>hbase.master.keytab.file</name>
    <value>/export/common/hbase/conf/hbase.keytab</value>
</property>
   <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
</property>

<property>
   <name>hbase.coprocessor.master.classes</name>
   <value>org.apache.hadoop.hbase.security.access.AccessController</value>
</property>
<property>
   <name>hbase.coprocessor.region.classes</name>
   <value>org.apache.hadoop.hbase.security.token.TokenProvider,org.apache.hadoop.hbase.security.access.AccessController</value>
</property>

<property>
    <name>hbase.ipc.client.tcpnodelay</name>
    <value>true</value>
</property>

<property>
    <name>hbase.ipc.server.tcpnodelay</name>
    <value>true</value>
</property>

<property>
    <name>hbase.regionserver.global.memstore.size</name>
    <value>0.19</value>
</property>
<property>
    <name>hbase.ipc.server.callqueue.handler.factor</name>
    <value>0.9</value>
</property>
<property>
    <name>hbase.ipc.server.callqueue.read.ratio</name>
    <value>0</value>
</property>

</configuration>
不会吐丝的蜘蛛侠。
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase GC优化
duanbiren123的博客
11-12 271
编辑配置文件 编辑 hbase-env.sh export HBASE_OPTS="$HBASE_OPTS -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+UseCMSCompactAtFullCollection -XX:CMSFullG...
hbase性能调优手册
07-24
本文主要是从HBase安装配置和应用程序设计与开发的角度，总结几种常用的性能优化方法。
大数据生态体系产品(3) - HBase的架构与高性能存储
小爱玄策
05-26 465
Google发表GFS、MapReduce、BigTable三篇论文，号称“三驾马车”，开启了大数据的时代。本文介绍BigTable对应的NoSQL系统HBase，对大规模海量数据的处理。
HBase全分布式搭建
C_time的博客
08-08 236
1.首先 我的配置 安装了 jdk1.7.0_79 hadoop-2.7.1 zookeeper-3.4.7 yarn也有昂 这些不重要 hive-1.2.1 sqoop-1.4.6 azkaban-web-2.5.0 azkaban-executor-2.5.0 然后下载的hbase是hbase-1.2.1版本的 可以到官网下载 2.其次 最重要的是 我已经搭建了HA 高可用 安装过程吃过一次...
Hbase性能调优（一）
weixin_30815469的博客
03-29 109
转自：https://blog.csdn.net/yueyedeai/article/details/14648111 1、修改Linux配置 Linux系统最大可打开文件数一般默认的参数值是1024，如果不进行修改，并发量上来的时候会出现“Too Many Open Files”的错误，导致整个Hbase不可运行： 调优方法： 使用ulimit -n命令进行修改，或者修改/etc/sec...
hbase安装与配置.docx
02-11
Linux下，基于Hadoop集群的Zookeeper、Hbase的安装及配置指导文档。 HBase作为Hadoop生态系统的一部分，...hadoop集群的Mapreduce为HBase提供了高性能的计算能力；HBase为hadoop集群提供了强大的数据存储和处理能力。
6 大数据基础 - Hbase
最新发布
12-20
HBase的主要特点是高性能、可扩展性强、支持高并发读写操作。 HBase的应用场景： 1. 大规模数据存储：HBase可以存储大量的数据，并提供高性能的读写操作。 2. 实时数据处理：HBase提供了实时数据处理的能力，能够...
hbase性能调优.pdf
11-23
然而，HBase的性能调优是一件非常复杂和挑战性的任务，这需要深入了解HBase的架构和机理，以及相关的配置项和调优策略。 在HBase中， Zookeeper 是一个核心组件，负责维护集群的状态和配置信息。Zookeeper 的 ...
HBase单机版部署教程
10-05
HBase是一种基于Hadoop的分布式、面向列的NoSQL数据库，它提供了高性能、可扩展、灵活的数据存储解决方案。下面是HBase单机版部署的详细教程： 安装JDK 首先，我们需要安装JDK，因为HBase依赖Java Runtime ...
hbase-saite.xml需要修改的详细配置
06-18
hbase-saite.xml需要修改的详细配置，HBase – Hadoop Database，是一个高 可靠 性、高性能、面向列、可伸缩的 分布式存储系统 ，利用HBase技术可在廉价PC Server上搭建起大规模 结构 化 存储 集群。. 与FUJITSU ...
hbase的hbase-env.sh脚本修改的部分高亮显示（兰色添加，紫色注释）
fire_horse的博客
04-19 5245
# #/** # * Licensed to the Apache Software Foundation (ASF) under one # * or more contributor license agreements. See the NOTICE file # * distributed with this work for additional information # *
hbase1.2配置(带kerberos认证)
manweizhizhuxia的博客
08-09 1314
hbase配置
HBase 管理，性能调优
weixin_33759269的博客
05-18 115
2019独角兽企业重金招聘Python工程师标准>>> ...
hbase 部署
weixin_34121282的博客
06-26 198
关闭hadoop ，设置hdfs允许 append，如下操作： [hadoop@oversea-stable hadoop]$ sbin/stop-all.sh This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh Stopping namenodes on [oversea-stable bus-stable] ...
Hbase常见问题
奔跑的豆子的专栏
01-16 1588
常见问题 问题一 localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. 解决：执行SSH设置和密钥生成操作 问题二 Unable to load native-hadoop library for your platform... using builti
HBase配置
weixin_41074929的博客
08-24 247
hbase添加到环境变量中（source生效）； 将hdfs-site.xml和core-site.xml拷贝到/hbase/conf/中； 修改hbase-env.sh文件； 修改hbase-site.xml文件； 修改regionservers文件； 启动测试。...
HBase的优化
weixin_55766647的博客
12-18 1217
hbase的优化 一:写入数据方面 1.Auto Flash 通过调用HTable.setAutoFlushTo(false)方法可以将HTable写客户端自动flush关闭，这样可以批量写入数据到HBase，而不是有一条put就执行一次更新，只有当put填满客户端写缓存的时候，才会向HBase服务端发起写请求。默认情况下auto flush是开启的。 2.Write Buffer 通过调用HTable.setWriteBufferSize(writeBufferSize)方...
Hbase配置项粗解
weixin_30908941的博客
04-22 443
继之前写的设计和使用tip，这里补充一下hbase所有的配置项。之前涉及的一个项目在hbase设计上存在缺陷，当进入时已经存在着很多rowkey设计和读写问题，现在重读hbase文档，把所有的配置项整理一遍。 hbase.tmp.dir：本地文件系统的临时目录，默认是${java.io.tmpdir}/hbase-${user.name}； hbase.rootdir：hbase持久化的目录，...
hbase 源代码分析 （9） hbase启动过程
chenfenggang的专栏
07-14 1605
hbase的启动过程。 过程如下： 1）运行start-hbase.sh 2) 加载conf,加载需要lib，class文件，包括jdk里面的，hbase本身的。 3）判断安装模式 4）如果集群模式需要启动 a）zookeeper， b）Master c）RegionService d）master-backup 如果本地模式则只需要启动master就够了。 在master里面会new一个zk，和启动一个regionService，但是这个master和regionSerivce是同一个JVM
hbase怎么配置MemcachedBlockCache
05-27
需要注意的是，配置MemcachedBlockCache需要确保HBase和Memcached服务器之间的网络连接正常，否则可能会影响系统的性能和可用性。另外，MemcachedBlockCache可能会增加系统的复杂性和维护成本，需要根据实际需求进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值