一起重新开始学大数据-Hbase篇-day 57 Hbase调优

于 2021-09-20 15:07:54 发布
阅读量538 收藏 2
点赞数 2
分类专栏： 大数据从零开始学习 大数据 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiand7/article/details/120389994
版权
一起重新开始学大数据-Hbase篇-day 57 Hbase调优

在这里插入图片描述

💚文章目录💛

1、预分区

Pre-Creating Regions（预分区） 概述：

  默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候， 所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。 但这样的情况，会导致如果数据量过大导致写入速度过慢，所以可以使用一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入 HBase时，会按照region分区情况，在集群内做数据的负载均衡。
  如果知道hbase数据表的key的分布情况，就可以在建表的时候对hbase进行region的预分区。这样做的好处是防止大数据量插入的热点问题，提高数据插入的效率。
 
 
执行步骤：

①理解分区方式并且生成分区文件
  首先就是要想明白数据的key是如何分布的，然后规划一下要分成多少region，每个region的startkey和endkey是多少，然后将规划的key写到一个文件中。比如，key的前几位字符串都是从0001~0010的数字，这样可以分成10个region，划分key的文件如下：
  0001|
  0002|
  0003|
  0004|
  0005|
  0006|
  0007|
  0008|
  0009|

  为什么后面会跟着一个"|"，是因为在ASCII码中，"|"的值是124，大于所有的数字和字母等符号，当然也可以用“~”（ASCII-126）。分隔文件的第一行为第一个region的stopkey，每行依次类推，最后一行不仅是倒数第二个region的stopkey，同时也是最后一个region的startkey。也就是说分区文件中填的都是key取值范围的分隔点，如下图分区文件所示(第一行为第一个region的stopkey，也就是说小于1500100100的都放在第一个分区，大于等于1500100100的以及小于1500100200的放在第二个分区)：

在本地创建一个分区文件
vim region_split_info.txt
输入以下内容：
在这里插入图片描述
②base shell中建分区表，指定分区文件
可以通过指定SPLITS_FILE的值指定分区文件,如果分区信息比较少，也可以直接用SPLITS分区。我们可以通过如下命令建一个分区表，指定第一步中生成的分区文件：

create 'split_table_test', 'cf', {SPLITS_FILE => '/usr/local/soft/data/region_split_info.txt'}

下面，我们登陆一下master的web页面Hmaster:60010，查看一下hbase的表信息，找到刚刚新建的预分区表，进入查看region信息：

在这里插入图片描述

2、Rowkey设计

①设计原则

HBase中row key用来检索表中的记录，支持以下三种方式:

  • 通过单个row key访问:即按照某个row key键值进行get操作;

  • 通过row key的range进行scan:即通过设置startRowKey和endRowKey，在这个范围内进行扫描;

  • 全表扫描:即直接扫描整张表中所有行记录。

  在HBase中，row key可以是任意字符串，最大长度64KB，实际应用中一般为 10~100bytes，存为byte[]字节数组，一般设计成定长的。

  row key是按照字典序存储，因此，设计row key时，要充分利用这个排序特点，将经常一起读取的数据存储到一块，将最近可能会被访问的数据放在一块。

  HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。

rowkey长度原则

  rowkey是一个二进制码流，可以是任意字符串，最大长度 64kb ，实际应用中一般为10-100bytes，以 byte[] 形式保存，一般设计成定长。

建议越短越好，不要超过16个字节，原因如下：

  数据的持久化文件HFile中是按照KeyValue存储的，如果rowkey过长，比如超过100字节，1000w行数据，光rowkey就要占用100*1000w=10亿个字节，将近1G数据，这样会极大影响HFile的存储效率；

  MemStore将缓存部分数据到内存，如果rowkey字段过长，内存的有效利用率就会降低，系统不能缓存更多的数据，这样会降低检索效率。

rowkey散列原则

  如果rowkey按照时间戳的方式递增，不要将时间放在二进制码的前面，建议将rowkey的高位作为散列字段，由程序随机生成，低位放时间字段，这样将提高数据均衡分布在每个RegionServer，以实现负载均衡的几率。如果没有散列字段，首字段直接是时间信息，所有的数据都会集中在一个RegionServer上，这样在数据检索的时候负载会集中在个别的RegionServer上，造成热点问题，会降低查询效率。

rowkey唯一原则

  必须在设计上保证其唯一性，rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。

②热点问题

  HBase中的行是按照rowkey的字典顺序排序的，这种设计优化了scan操作，可以将相关的行以及会被一起读取的行存取在临近位置，便于scan。然而糟糕的rowkey设计是热点的源头。 热点发生在大量的client直接访问集群的一个或极少数个节点（访问可能是读，写或者其他操作）。大量访问会使热点region所在的单个机器超出自身承受能力，引起性能下降甚至region不可用，这也会影响同一个RegionServer上的其他region，由于主机无法服务其他region的请求。 设计良好的数据访问模式以使集群被充分，均衡的利用。

  为了避免写热点，设计rowkey会使得不同行在同一个region，但是在更多数据情况下，数据应该被写入集群的多个region，而不是一个。

下面是一些常见的避免热点的方法以及它们的优缺点（附带案例说明）：

加盐

  这里所说的加盐不是密码学中的加盐，而是在rowkey的前面增加随机数，具体就是给rowkey分配一个随机前缀以使得它和之前的rowkey的开头不同。分配的前缀种类数量应该和你想使用数据分散到不同的region的数量一致。加盐之后的rowkey就会根据随机生成的前缀分散到各个region上，以避免热点。

#数据
20210918_10001
20210919_10001
20210920_10001

# 加盐
1679592560_20210918_10001
665840881_20210919_10001
374714006_20210920_10001

哈希

  哈希会使同一行永远用一个前缀加盐。哈希也可以使负载分散到整个集群，但是读却是可以预测的。使用确定的哈希可以让客户端重构完整的rowkey，可以使用get操作准确获取某一个行数据

#数据
20210918_10001
20210919_10001
20210920_10001

# 哈希
37410b3a3a683b1dbeaf165b750bf7ed_20210918_10001
9b58fa08284d1a30c386e17aa7cffc35_20210919_10001
fb1c5c2fb7add4d693181e69ed78228d_20210920_10001

反转

  第三种防止热点的方法时反转固定长度或者数字格式的rowkey。这样可以使得rowkey中经常改变的部分（最没有意义的部分）放在前面。这样可以有效的随机rowkey，但是牺牲了rowkey的有序性。

  反转rowkey的例子以手机号为rowkey，可以将手机号反转后的字符串作为rowkey，这样的就避免了以手机号那样比较固定开头导致热点问题

#数据：
183XXXX5028
188XXXX5027
139XXXX1245

#反转
8205XXXX381
7205XXXX881
5421XXXX931

时间戳反转

  一个常见的数据处理问题是快速获取数据的最近版本，使用反转的时间戳作为rowkey的一部分对这个问题十分有用，可以用 Long.Max_Value - timestamp 追加到key的末尾，例如[key][reverse_timestamp] , [key] 的最新值可以通过scan [key]获得[key]的第一条记录，因为HBase中rowkey是有序的，第一条记录是最后录入的数据。

  比如需要保存一个用户的操作记录，按照操作时间倒序排序，在设计rowkey的时候，可以这样设计

# 数据  = >  时间戳反转
000001_1631929041 => 000001_9223372035222846766
000001_1631929341 => 000001_9223372035222846466
000001_1631929641 => 000001_9223372035222846166
000001_1631929941 => 000001_9223372035222845866
000001_1631930441 => 000001_9223372035222845366

3、In memory

  创建表的时候，可以通过HColumnDescriptor.setInMemory(true)将表放到 RegionServer的缓存中，保证在读取的时候被cache命中。（针对列簇）
  在Hbase shell中通过desc 查看表，可以看到是否开启
在这里插入图片描述

4、Max Version

  创建表的时候，可以通过HColumnDescriptor.setMaxVersions(int maxVersions)设置 表中数据的最大版本，如果只需要保存最新版本的数据，那么可以设置 setMaxVersions(1)。
 

5、Compact&split

  在HBase中，数据在更新时首先写入WAL 日志(HLog)和内存(MemStore)中， MemStore中的数据是排序的，当MemStore累计到一定阈值（128M）时，由单独的线程flush到磁盘上，成为一个StoreFile。与此同时， 系统会在zookeeper中记录一个redo point，表示这个时刻之前的变更已经持久化了

  StoreFile是只读的，一旦创建后就不可以再修改。因此Hbase的更新其实是不断追加的操作。当一个Store中的StoreFile的数量达到一定的阈值后，就会进行一次合并(major compact)，将对同一个key的修改合并到一起，形成一个大的StoreFile；当StoreFile的大小达到一定阈值后，又会对 StoreFile进行分割(split)，等分为两个StoreFile。
 
 

6、BulkLoading

优点：

  1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即HBase提供的HFileOutputFormat类。

  2. 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接生成这种hdfs内存储的数据格式文件，然后上传至合适位置，即完成巨量数据快速入库的办法。配合mapreduce完成，高效便捷，而且不占用region资源，增添负载。

限制：

  1. 仅适合初次数据导入，即表内数据为空，或者每次入库表内都无数据的情况。

  2. HBase集群与Hadoop集群为同一集群，即HBase所基于的HDFS为生成HFile的MR的集群

①代码

  1. 生成HFile部分

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.RegionLocator;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.HFileOutputFormat2;
import org.apache.hadoop.hbase.mapreduce.KeyValueSortReducer;
import org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles;
import org.apache.hadoop.hbase.mapreduce.SimpleTotalOrderPartitioner;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class BulkLoading {
    public static class BulkLoadingMapper extends Mapper<LongWritable, Text, ImmutableBytesWritable, KeyValue> {
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String[] splits = value.toString().split(",");
            String mdn = splits[0];
            String start_time = splits[1];
            // 经度
            String longitude = splits[4];
            // 维度
            String latitude = splits[5];

            String rowkey = mdn + "_" + start_time;

            KeyValue lg = new KeyValue(rowkey.getBytes(), "info".getBytes(), "lg".getBytes(), longitude.getBytes());
            KeyValue lt = new KeyValue(rowkey.getBytes(), "info".getBytes(), "lt".getBytes(), latitude.getBytes());

            context.write(new ImmutableBytesWritable(rowkey.getBytes()), lg);
            context.write(new ImmutableBytesWritable(rowkey.getBytes()), lt);

        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "master:2181,node1:2181,node2:2181");


        // 创建Job实例
        Job job = Job.getInstance(conf);
        job.setJarByClass(BulkLoading.class);
        job.setJobName("BulkLoading");

        // 保证全局有序
        job.setPartitionerClass(SimpleTotalOrderPartitioner.class);

        // 设置reduce个数
        job.setNumReduceTasks(4);
        // 配置map任务
        job.setMapperClass(BulkLoadingMapper.class);

        // 配置reduce任务
        // KeyValueSortReducer 保证在每个Reduce有序
        job.setReducerClass(KeyValueSortReducer.class);

        // 输入输出路径
        FileInputFormat.addInputPath(job, new Path("/data/DIANXIN/"));
        FileOutputFormat.setOutputPath(job, new Path("/data/hfile"));

        // 创建HBase连接
        Connection conn = ConnectionFactory.createConnection(conf);
        // create 'dianxin_bulk','info'
        // 获取dianxin_bulk 表
        Table dianxin_bulk = conn.getTable(TableName.valueOf("dianxin_bulk"));
        // 获取dianxin_bulk 表 region定位器
        RegionLocator regionLocator = conn.getRegionLocator(TableName.valueOf("dianxin_bulk"));
        // 使用HFileOutputFormat2将输出的数据按照HFile的形式格式化
        HFileOutputFormat2.configureIncrementalLoad(job, dianxin_bulk, regionLocator);

        // 等到MapReduce任务执行完成
        job.waitForCompletion(true);

        // 加载HFile到 dianxin_bulk 中
        LoadIncrementalHFiles load = new LoadIncrementalHFiles(conf);
        load.doBulkLoad(new Path("/data/hfile"), conn.getAdmin(), dianxin_bulk, regionLocator);

        /**
         *  create 'dianxin_bulk','info'
         *  hadoop jar HBaseJavaAPI10-1.0-jar-with-dependencies.jar com.shujia.Demo10BulkLoading
         */
    }
}

②说明

  1. 最终输出结果，无论是map还是reduce，输出部分key和value的类型必须是： < ImmutableBytesWritable, KeyValue>或者< ImmutableBytesWritable, Put>。

  2. 最终输出部分，Value类型是KeyValue 或Put，对应的Sorter分别是KeyValueSortReducer或PutSortReducer。

  3. MR例子中HFileOutputFormat2.configureIncrementalLoad(job, dianxin_bulk, regionLocator);自动对job进行配置。SimpleTotalOrderPartitioner是需要先对key进行整体排序，然后划分到每个reduce中，保证每一个reducer中的的key最小最大值区间范围，是不会有交集的。因为入库到HBase的时候，作为一个整体的Region，key是绝对有序的。

  4. MR例子中最后生成HFile存储在HDFS上，输出路径下的子目录是各个列族。如果对HFile进行入库HBase，相当于move HFile到HBase的Region中，HFile子目录的列族内容没有了，但不能直接使用mv命令移动，因为直接移动不能更新HBase的元数据。

  5. HFile入库到HBase通过HBase中 LoadIncrementalHFiles的doBulkLoad方法，对生成的HFile文件入库

 
 
 

上一章-Hbase篇-day 56 Phoenix
下一章-数据采集工具篇-day 57 sqoop
 
 
 
  
 

在这里插入图片描述

长按催更键，下章马上见

在这里插入图片描述

你的动作太慢了！
关注
专栏目录
HBase2.x（十三）HBase 分区
weixin_45417821的博客
10-02 1131
每一个 region 维护着 startRow 与 endRowKey，如果加入的数据符合某个 region 维护的rowKey 范围，则该数据交给这个 region 维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高 HBase 性能。1）手动设定预分区2）生成 16 进制序列预分区3）按照文件中设置的规则预分区aaaabbbbccccdddd4）使用 JavaAPI 创建预分区。
hbase split
数据之美的博客
10-31 1190
hbase split 因为已经进行了预分区，在参数配置时，我们将hbase.hregion.max.filesize调整至了30G(32212254720),但是在测试中发现，还是会在表或者是region不到30G发生了split,日志中可见发生split信息。又碰到一个和major compaction差不多，设置了相应参数却不能唯一控制situation的参数。相关资料整理如下： Hba...
【Hbase】建表命令
zkq_1986的博客
11-20 1333
Hbase 建表基本命令 1. create 't1','c1','c2' 表示创建一个t1表，列簇为c1和c2两个。 2. 预分区 TTL的单位为秒 create 't2',{NAME=>'f1',COMPRESSION=>'SNAPPY',TTL=>63072000},SPLITS=>['0001','0002','0003',
HBase的预分区设计（很实用的一篇文章）
BigData_Mining的博客
06-29 1万+
  如果知道hbase数据表的key的分布情况，就可以在建表的时候对hbase进行region的预分区。这样做的好处是防止大数据量插入的热点问题，提高数据插入的效率。 背景：HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有startkey和endkey，在数据写入时，所有数据都会写入这个默认的region，随着数据量的不断  增加，此region已经不...
Hbase核心内容总结
浅谈
06-29 956
Hbase的角色功能、Hbase的读写流程、Hbasede LSM模型、Hbase与Mapreduce的集成等
五分钟学大数据-HBase 知识体系吐血总结1
08-03
HBase 是一个分布式、高性能、基于列式存储的 NoSQL 数据库，它是 Apache Hadoop 生态系统的一部分，专为处理海量结构化半结构化数据而设计。HBase 提供了实时读写能力，支持大数据量的存储和检索，尤其适用于实时...
phoenix-hbase-2.4-5.1.2
最新发布
03-09
《Phoenix与HBase的深度解析：基于phoenix-hbase-2.4-5.1.2版本》 在大数据处理领域，Apache HBase和Phoenix是两个至关重要的组件。HBase作为一个分布式、列式存储的NoSQL数据库，为海量数据提供了高效、实时的访问...
phoenix-hbase-2.2-5.1.2-bin.tar.gz
05-07
总的来说，`phoenix-hbase-2.2-5.1.2-bin.tar.gz`是大数据存储和分析领域的重要工具，它结合了HBase的分布式存储能力和Phoenix的SQL查询能力，为大数据处理提供了一种高效、易用的解决方案。无论是对大数据新手还是...
phoenix-client-hbase-2.2-5.1.2.jar
12-10
phoenix-client-hbase-2.2-5.1.2.jar
phoenix-core-4.7.0-HBase-1.1-API文档-中文版.zip
05-02
赠送jar包：phoenix-core-4.7.0-HBase-1.1.jar； 赠送原API文档：phoenix-core-4.7.0-HBase-1.1-javadoc.jar； 赠送源代码：phoenix-core-4.7.0-HBase-1.1-sources.jar； 赠送Maven依赖信息文件：phoenix-core-4.7.0...
提升HBase写性能
萌萌的It人 www.itmmd.com
02-16 6229
本文主要介绍软件层面的性能调优。故，在此之前，请检查硬件状况。硬盘推荐SSD，一般SATA即可。网络千兆以上。可以安装Ganglia等工具，检查各节点的各硬件的运作状态：CPU,Memo,网络等等。  调整参数入门级的调优可以从调整参数开始。投入小，回报快。 1. Write Buffer Size快速配置Java代码  HTable htable = new HTable(config, tab
【HBase从入门到精通系列】如何避免HBase写入过快引起的各种问题
weixin_34235457的博客
04-10 92
2019独角兽企业重金招聘Python工程师标准>>> ...
hbase 性能测试
mtj66的博客，交流WX:SpringBreeze1104
12-19 712
n_splits = 40 create ‘usertable’,’family’,{SPLITS => (1..n_splits).map {|i| “user#{1000+i*(9999-1000)/n_splits}”}}create ‘usertable_snappy’,’family’,{SPLITS => (1..n_splits).map {|i| “user#{1000+i*(99
批量入库Kerbos认证的HBase，入库越来越慢直到程序卡死不动，后台一直告警，求解决！！！
Luminitai的博客
07-29 685
程序提交至spark运行，一开始运行正常随后越来越慢直到一直卡死，有时报错 java.io.IOException:CouldnotsetupIOStreamstohostname/ip:60020 但总是后台一直告警：告警如下 INFOAsyncProcess:#16,table=xxxxxxxxxx,attempt=20/35failed=24ops,lastexception:org.apache.hadoop.hbase.exceptions.Connectio...
使用 Hbase Shell 命令创建预分区表（hbase预分区）
主要写大数据集群一线运维和学习工作经验
09-19 8106
在通过 HBase Shell create 命令创建表时，可以使用多种选项来对表进行预分区。最简单的方法是在创建表时指定一个拆分点数组。 注意：当将字符串文本指定为拆分点时，这些拆分点将基于字符串的底层字节表示创建拆分点。 因此，当指定一个 split point 为'10'时，实际上是在指定字节分割'\x31\30'。 split point将定义n+1个区域，其中n是分割点的数...
HBase学习之负载均衡（balance）
热门推荐
浩先生的博客
04-01 1万+
负载均衡是计算机网络领域的一个专业术语，该术语在分布式系统领域应用非常广泛。对于HBase来讲，不同节点（RegionServer）用户请求需要负载均衡技术，其实在HBase很早的版本中已经实现了负载均衡，0.92版本后HBase的负载均衡算
hbase 增、查、改等 shell 基本命令
hello_java_lcl的博客
06-09 343
create Examples: hbase> create 'ns1:t1', 'f1', SPLITS => ['10', '20', '30', '40'] hbase> create 't1', 'f1', SPLITS => ['10', '20', '30', '40'] hbase> create 't1', 'f1', SPLITS_FILE => 'splits.txt', OWNER => 'john...
Hadoop HBase中split原理学习
写博客只为学习
05-12 358
在Hbase中split是一个很重要的功能，[b]Hbase是通过把数据分配到一定数量的region来达到负载均衡的。[/b]一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。[b]在自动split策略中，当一个region达到一定的大小就会自动split成两个region。[/b]table在region中是按照row key来排...
"五分钟学大数据-HBase 知识体系深度解析
本文是关于HBase知识体系的吐血总结，包括过滤器查询、根据rowkey删除数据、删除表操作、系统架构、HBase的表数据模型以及物理存储等内容。HBase是一个分布式、面向列的开源数据库，适用于大数据的存储和实时访问。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

你的动作太慢了！

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值