hbase优化

最新推荐文章于 2023-06-27 18:38:25 发布
最新推荐文章于 2023-06-27 18:38:25 发布
阅读量321 收藏
点赞数
文章标签： hbase hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011394890/article/details/117160946
版权

hbase 创建表结构示例·

create 'car_gb_binary',{NAME=>'carnet',COMPRESSION=>'snappy',BLOOMFILTER=>'ROW'},{NUMREGIONS=>100,SPLITALGO=>'HexStringSplit'}

解释：
BLOOMFILTER=布隆过滤器，默认为ROW，有三个选项NONE、ROW、ROWCOL
NUMREGIONS=>10:默认region数
SPLITALGO=>分裂规则，十六进制
VERSIONS=>版本号--如果没有必要，设置为1
COMPRESSION=>压缩方式，默认为NONE，有snappy、zip等
DFS_REPLICATION=>1 hdfs中备份数量为1--经测试，该配置有效。如果是在表已存在情况下，修改了表属性。只对后续的写入、split、merge等操作有效，之前的数据如果不操作的话，还是按照原来的备份数量
CONFIGURATION =>configuration中设置split策略，禁用自动split


create 'carnet:gb_binary',{NAME=>'a',COMPRESSION=>'snappy',BLOOMFILTER=>'ROW', VERSIONS=>1, DFS_REPLICATION => '1'},{NUMREGIONS=>10,SPLITALGO=>'HexStringSplit',CONFIGURATION => {'hbase.regionserver.region.split.policy'=>'org.apache.hadoop.hbase.regionserver.DisabledRegionSplitPolicy'}}


#alter 为修改表结构指令
alter 'carnet:gb_binary',{NAME=>'a',COMPRESSION=>'snappy',BLOOMFILTER=>'ROW',DFS_REPLICATION => '3'}

hbase性能调优

主要是针对于服务端的配置优化

地方大幅度发

默认值建议值说明调优　
zookeeper.session.timeout3分钟1分钟RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管设置成1分钟，减少hmaster感知时间　
hbase.regionserver.handler.count30100rpc handler，handler太少无法处理高并发增加这个值，提高rpc并发数　
hbase.hregion.max.filesize10G30Gregion下hfile大小经验值为20~30G，也不是越大越好，越大索引层次越深，对查询稍有影响，越小容易造成split，region个数太多　
hbase.hregion.memstore.flush.size128M128M/256Mmemstore达到多大时flush到磁盘regionserver 分配16G内存时，分配128M，分配32G时，分配256M， 机器内存大时建议将memstore调整到256M ，　
hbase.regionserver.global.memstore.upperLimit0.40.45单台regionserver上所有region的memstore内存达到regionserver内存乘以这个值后，会flush memstore到磁盘，生成hfile这个值根据实际情况调整，如果写多读少，可以调大这个值，注意hbase.regionserver.global.memstore.upperLimit + hfile.block.cache.size不能超过0.8，否则会有OOM风险　
hfile.block.cache.size0.40.35blockcache占用的百分比这个值根据实际情况调整，如果读多写少，可以调大这个值，注意hbase.regionserver.global.memstore.upperLimit + hfile.block.cache.size不能超过0.8，否则会有OOM风险　
hbase.hstore.blockingStoreFiles101000当一个region下hfile超过10个时，block住所有写请求直到compaction完成设置一个较大值，减少block住写请求　
hbase.hregion.memstore.mslab.enabledTRUETRUE减少内存碎片造成的full gc　　
hbase.hregion.majorcompaction6048000000major_compact触发周期禁用majorcompaction，每天晚上定时通过contab执行compaction动作。  脚本，实施部门有。　
hbase.regionserver.regionSplitLimit21474836472147483647超过这个值后region将会停止自动split分裂时会造成对性能上的抖动，需要消耗cpu和io，对性能要求很高可以关闭自动分裂，把值设为0，在集群负载不大的时候下手动或定时脚本去split。对性能要求不高自动split就可以　
hbase.client.scanner.caching10001000每次scan rpc返回记录条数查询返回的数据太大会造成客户端长时间等待，造成超时，每次rpc小批量返回即可　
hbase.regionserver.thread.compaction.large110large compaction线程个数major compact时需要把region下所有hfile合并成一个大hfile，需要把线程数设置大一些　
hbase.regionserver.thread.compaction.small15small compaction线程个数minor compact把几个小hfile合并成一个hfile，1个线程太少　
GC优化4G机器内存充足，建议给32G“-Xms16g -Xmx16g -Xmn1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=15 -XX:CMSInitiatingOccupancyFraction=70 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/data1/hbase-logs/gc-$(hostname)-hbase.log“-Xms16g -Xmx16g -Xmn1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=15 -XX:CMSInitiatingOccupancyFraction=70 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/data1/hbase-logs/gc-$(hostname)-hbase.log配置方位：  在cdh    hbase   配置界面==> 高级 ==》HBase RegionServer 的 Java 配置选项
建表　　　1. table要预分区，分区个数=表总大小（估算）/HFile大小
2. 设置压缩格式，推荐使用snappy压缩
3.开启row boolean filter
4.列族名、字段名尽量要短，列族比如用f		　

hbase split触发规则

1、admin手动分裂

2、memory中数据flush至hfile之前，会去校验是否需要split。如果当前region中hfile的数量超过了hbase.hstore.blockingStoreFiles 设置的数量。如果超过，且没有等待超时，就会触发split。flush之后，还会再去校验一次，是否需要split

3、单个region存储大小超过hbase.hregion.max.filesize设定的文件大小，不再触发split

hbase merge触发规则

merge的触发由后台周期性检查，如果发现满足以下条件，则开启merge：

1、参与合并的文件个数 >= hbase.hstore.compaction.min (default is 3), 但最多不超过hbase.hstore.compaction.max(default is 10)

2、参与合并的文件需满足的条件： 

文件大小 < hbase.hstore.compaction.max.size (default is Long.MAX_VALUE)

且，文件大小 < 所有创建日期比该文件大（新）的文件大小之和*1.2

文件大小 < hbase.hstore.compactoin.min.size(memstore flush size)

3、文件选择的优先级

优先考虑老文件。

hbase 批量迁移数据

1、hive插入数据至hbase

hive插入数据至hbase参数优化--数据量不大的情况可以使用，数据量大还是要采用bulkload方式

 set hive.exec.dynamic.partition.mode=nonstrict;
 #设置map并发数量
 set mapreduce.job.running.map.limit=2;
 #关闭hbase的WAL,有点事提高了写入速度，缺点是如果出现错误无法查找日志
 set hive.hbase.wal.enabled=false;
 #开启大量导入配置
 set hive.hbase.bulk=true;

2、bulkload

#hbase中创建一张新表，用于存储迁移后的数据
create 'log_new',{NAME=>'a',COMPRESSION=>'snappy', BLOOMFILTER=>'ROW', VERSIONS=>1, DFS_REPLICATION => '1'},{NUMREGIONS=>24,SPLITALGO=>'HexStringSplit',CONFIGURATION => {'hbase.regionserver.region.split.policy'=>'org.apache.hadoop.hbase.regionserver.DisabledRegionSplitPolicy'}}

#删除临时表
hadoop fs -rm -r -skipTrash /tmp/hbase/car_log_new

#执行MR，使用bulkload方式，将hbase数据存储至临时文件
hadoop jar statistic-job-0.0.1.jar /tmp/me/2020-05-25 /user/me/data-report.result

#将临时文件用ulkLoad方法能够将数据快速的load到HBase log_new表中
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /tmp/hbase/log_new log_new

2、spark hbase context

该方式利用spark，全盘scan hbase 表，来达到获取数据并写入新的表。相比前两种方式，速度更快

引用的相关jar包

        <!--版本号 -->
        <hadoop.version>3.0.0</hadoop.version>
		<hbase.version>2.0.0</hbase.version>
		<spark.version>2.2.0</spark.version>

        <!-- hbase-spark -->
        <dependency>
    	    <groupId>org.apache.hbase</groupId>
			<artifactId>hbase-spark</artifactId>
			<version>2.1.0-cdh6.1.1</version>
			<exclusions>
				<exclusion>
					<groupId>org.glassfish</groupId>
					<artifactId>javax.el</artifactId>
				</exclusion>
				<exclusion>
					<groupId>org.glassfish</groupId>
					<artifactId>javax.el</artifactId>
				</exclusion>
			</exclusions>
		</dependency>

package xxx.spark;

import lombok.SneakyThrows;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.spark.JavaHBaseContext;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.VoidFunction;
import scala.Tuple2;
import scala.Tuple3;

import java.util.Iterator;
import java.util.List;
import java.util.function.Consumer;

/**
 * spark：迁移hbase表
 * args[0] 迁移表
 * args[1] 新表
 */
public class HbaseToHbase {
    public static void main(String[] args) {

        String tableName = args[0];
        String targetTableName = args[1];

        SparkConf sparkConf = new SparkConf().setAppName("hbase to hbase");//.setMaster("local");
        JavaSparkContext jsc = new JavaSparkContext(sparkConf);
        //jsc.addJar("spark.jar");


        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "hdp-master01.leapmotor.com,hdp-master02.leapmotor.com,hdp-node01.leapmotor.com");
        conf.setInt("hbase.zookeeper.property.clientPort", 2181);
        /*conf.addResource(new Path("/etc/hbase/conf/core-site.xml"));
        conf.addResource(new Path("/etc/hbase/conf/hbase-site.xml"));*/

        JavaHBaseContext hbaseContext = new JavaHBaseContext(jsc, conf);

        Scan scan = new Scan();
        scan.setCaching(1000);

        JavaRDD<Tuple2<ImmutableBytesWritable, Result>> javaRdd = hbaseContext.hbaseRDD(TableName.valueOf(tableName), scan);

        hbaseContext.foreachPartition(javaRdd, new VoidFunction<Tuple2<Iterator<Tuple2<ImmutableBytesWritable, Result>>, Connection>>() {
            @Override
            public void call(Tuple2<Iterator<Tuple2<ImmutableBytesWritable, Result>>, Connection> t) throws Exception {
                Connection connection = t._2;
                BufferedMutator m = connection.getBufferedMutator(TableName.valueOf(targetTableName));
                Iterator<Tuple2<ImmutableBytesWritable, Result>> it = t._1;
                int count = 0;
                while (it.hasNext()) {
                    count++;
                    Tuple2<ImmutableBytesWritable, Result> data = it.next();
                    List<Cell> list = data._2.listCells();
                    Put put = new Put(data._2.getRow());
                    list.forEach(new Consumer<Cell>() {
                        @SneakyThrows
                        @Override
                        public void accept(Cell cell) {
                            put.add(cell);
                        }
                    });
                    m.mutate(put);
                }
                System.out.println(count);
                m.flush();
                m.close();
            }
        });

    }
}

表重命名方式

disable 'carnet:gb_binary_2024'
snapshot 'carnet:gb_binary_2024', 'gb_binary_2024_snapshot'
clone_snapshot 'gb_binary_2024_snapshot', 'carnet:gb_binary_2023'
-- delete_snapshot 'gb_binary_2024_snapshot'
-- drop 'carnet:gb_binary_2024'
enable 'carnet:gb_binary_2023'
enable 'carnet:gb_binary_2024'

小小孩纸
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
HBase优化实战
02-25
本文来自于cnblogs，介绍了Rowkey设计问题，Region重...然而，分布式系统从结构上来讲，也相对较复杂，模块繁多，各个模块之间也很容易出现一些问题，所以对像HBase这样的大型分布式系统来说，优化系统运行，及时解决
Hbase之预分区
lslslslslss的博客
01-05 4841
一、预分区设置 创建表时，只有一个分区region，当该分区达到一定的值时，会进行分区，此时分区会影响Hbase的性能。而且每一个region维护着startRowKey与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。因此可以添加预分区。 1.手动设定预分区 create 'group','info',SPLITS =>['10','20','30','40'] 2.生成16进制序列预分区 crea...
Hadoop生成HFile直接入库HBase心得
宏轩ＪＡＶＡ技术专栏
05-10 5405
转载请标明出处：http://blackwing.iteye.com/blog/1991380  hbase自带了ImportTsv类，可以直接把tsv格式（官方教材显示，是\t分割各个字段的文本格式）生成HFile，并且使用另外一个类org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles直接把HFile移动到hbase对应的hdf
【分布式数据库】HBase性能调优（二）
最新发布
康师傅没有眼泪
06-27 2463
NameNode的元数据备份使用SSD、定时备份 NameNode 上的元数据，每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。2、为NameNode指定多个元数据目录，使用dfs.name.dir或者dfs.namenode.name.dir指定。一个指定本地磁盘，一个指定网络磁盘。这样可以提供元数据的冗余和健壮性，以免发生故障。
HBase2.x（十三）HBase 分区
weixin_45417821的博客
10-02 1062
每一个 region 维护着 startRow 与 endRowKey，如果加入的数据符合某个 region 维护的rowKey 范围，则该数据交给这个 region 维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高 HBase 性能。1）手动设定预分区2）生成 16 进制序列预分区3）按照文件中设置的规则预分区aaaabbbbccccdddd4）使用 JavaAPI 创建预分区。
Mapreduce生成Hfile文件，加载到hbase问题汇总
争当鲲鹏飞万里 不做燕雀恋子巢
03-28 2290
Hfile在hbase表中的底层数据形式：默认default下面 1、Can't get master address from ZooKeeper; znode data == null hbase(main):001:0> list TABLE ...
HBASE优化总结
12-03
本文档详细的描述了HBASE数据库优化思路及其一些配置优化，有详细的例子去演示如何优化
hbase优化总结
06-20
本文档主要对hbase的优化进行了总结，对项目中使用hbase的调优具有一定的指导意义
Hbase优化-参数优化
11-28
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。1. 表的设计2. 写表操作3. 读表操作4. 数据计算
hbase 配置优化
06-06 116
hbase的优化的一点经验，一直没做这个笔记，是因为hbase自身也有设计缺陷，所以有些配置不能说优化，只能说因为hbase自身缺陷可以将就着用，不说废话了，以下就是优化的一点笔记   hbase配置修改： (split是因为hfile过多，进行split，split之后进行compact   可以可能要有人喷了，hfile多了应该compact才对啦。贴出0.98.1的代码，大致逻辑...
【大数据入门核心技术-HBase】（十五）Hbase Replication操作
03-10 457
replication.source.nb.capacity 5000 主集群每次像备集群发送的entry最大的个数，推荐5000.可根据集群规模做出适当调整,slave集群服务器如果较多，可适当增大。增加一个slave集群,一旦add，那么master集群就会向这个slave集群上replication那些在master集群上表列族制定了REPLICATION_SCOPE=>'1'的信息。show_peer_tableCFs：观察某个slave集群上呗replication的表和列族信息。
（五）hbase读写数据流程以及优化
weixin_43930865的博客
08-27 247
hbase读写数据流程 1：hbase整体存储架构 hbase整体操作流程 1、Table 中的所有行都按照 RowKey 的字典序排列。 2、Table 在行的方向上分割为多个 HRegion。 3、HRegion 按大小分割的(默认 10G)，每个表一开始只有一个 HRegion，随着数据不断插入表，HRegion 不断增大，当增大到一个阀值的时候，HRegion 就会等分会两个新的 HRegion。 当表中的行不断增多，就会有越来越多的 HRegion。 4、HRegion 是 Hbase 中分布式
HBase进阶——文件的合并、 MemStore Flush、StoreFile Compaction、 Region Split、高可用与预分区介绍
张小鱼的博客
04-24 1180
本文主要介绍HBase如何进行分区与数据处理等等操作，在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期，均衡 RegionServer 的负载， 如果 HMaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并 不会维持太久。所以 HBase 支持对 HMaster 的高可用配置。每一个 region 维护着 StartRow 与 EndRow，如果加入的数据符合某个 Region 维护的 RowKey 范围，则该数据交给这个 Reg
HBase使用
10-22 183
1 hbase(main):030:0> t=get_table 'test44' Took 0.0004 seconds => Hbase::Table - test44 hbase(main):031:0> t.flush Took 0.1839 seconds ...
hbase参数调优
weixin_35749440的博客
01-10 195
HBase是一种分布式数据库系统, 可用于存储大量的结构化数据。 在进行调优时, 有一些常见的参数需要考虑: JVM参数: 包括堆大小、垃圾收集器和其他JVM参数。 这些参数可以帮助优化内存使用和垃圾收集的效率。 HBase服务器参数: 包括最大连接数、WAL(写日志)大小和memstore大小。 这些参数可以帮助优化HBase服务器的性能。 HBase客户端参数: 包括客户端缓存大小和RP...
hbase HexStringSplit预分区，spark通过bulkload入数据
枫叶的落寞的博客
12-27 3418
hbase建表语句 create 'test',{NAME=&amp;gt;'CF_1',COMPRESSION=&amp;gt;'SNAPPY'},{NUMREGIONS =&amp;gt; 30, SPLITALGO =&amp;gt; 'HexStringSplit'} bulk load 数据到上面建的表 1、自定义spark的partitioner函数，使得rdd的分区和hbase hfile要求的region分区...
spark常见操作系列(3)--spark读写hbase(1)
cafebar123的专栏
03-18 1503
spark读写hbase,先写一下hbase的常用操作方式. hbase建表: create 'hbase_test_table', 'info', {NAME=&gt;'info', SPLITALGO =&gt; 'HexStringSplit', REPLICATION_SCOPE =&gt;0}, SPLITS =&gt; ['S0','S1','S2', 'S3', 'S4'...
hbase 预分区设计
m0_72168501的博客
12-07 1162
hbase 预分区设计的三种方式，还有一个java API的方式
Hbase高级应用
aiyin9511的博客
04-17 259
建表高级属性 下面几个shell 命令在hbase操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个create 属性 1、BLOOMFILTER 默认是Row 布隆过滤可以每列族单独启用。 使用 HColumnDescriptor.setBloomFilterType(NONE | ROW | ROWCOL) 对列族单独启用布隆。  Default = ROW 对行进行布隆过滤。...
hbase如何查询优化
03-02
以下是一些优化 HBase 查询性能的建议： 1. 数据模型优化：HBase 的数据模型设计很重要。应该根据数据访问模式设计表结构，尽量避免全表扫描。一般情况下，使用行键设计表结构，将相关数据存储在同一行中，可以提高...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值