hbase入库速度测试

最新推荐文章于 2021-07-17 09:05:27 发布
最新推荐文章于 2021-07-17 09:05:27 发布
阅读量4k 收藏
点赞数
分类专栏： 多线程入库 hbase 文章标签： hbase入库性能 hbase入库 hbase多线程入库 大数据入库 hbase多连接
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhy66/article/details/41091951
版权
这篇博客分享了作者进行的HBase性能测试，测试表明在大数据入库场景下，应启动多个线程且每个线程不应共用HBase连接。使用单个HBase连接的性能受限，而通过多线程并行入库可以显著提高速度。目前测试在1+2集群配置下，已实现每秒入库20万条记录，尚未达到入库瓶颈。
摘要由CSDN通过智能技术生成

自己做的一个hbase性能测试。从测试结果来看，入大数据应该启动多个线程，多个线程间不要共用hbase连接，如果多个线程使用一个hbase连接，一个hbase连接的性能是有限的，多个线程共用一个hbase连接等于使用一个hbase入库程序。目前我使用1+2集群，每秒钟入库20W条记录，20W入库还没有达到入库瓶颈。




 scan 't1', ['c1', 'c2'], {LIMIT => 10, STARTROW => 'xyz'}

 scan 'test_201408280000_201408282359', {LIMIT => 10, STARTROW => '1000007285120140828115555019504'}

 scan 'test_201408280000_201408282359', {LIMIT => 10, STARTROW => '2000007285120140828115555019504'}

 scan 'test_201408280000_201408282359', {LIMIT => 10, STARTROW => '5000007285120140828115555019504'}

-Xloggc:./gc.log -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled

ps -ef |grep com.main.Main

16个进程。单个 处理 3W。

1个进程。单个 处理 5W。处理不了，丢数据


1个进程。单个 处理 3W。处理不了，丢数据


这次 咱们 测试 的 场景：
1、28往43入大数据。
2、单个进程入
3、java单个接收
4、其他入得都关了


8月30日测试

只起 1个线程  

|4|0|0|0||0|0|1348|257069|2|0|0|65535|iPhone6,2/7.1.2(11D257)|0
2014-08-30 15:01:19,826  INFO [main] (TestPutMain.java:174) - 10492ms:296997
2014-08-30 15:02:00,544  INFO [main] (TestPutMain.java:174) - 10001ms:265794
2014-08-30 15:02:10,545  INFO [main] (TestPutMain.java:174) - 10001ms:284958
2014-08-30 15:02:20,633  INFO [main] (TestPutMain.java:174) - 10088ms:254882



只起 2个线程  


2014-08-30 15:16:44,314  INFO [Thread-1] (ThreadPut.java:135) - 11040ms:148264
2014-08-30 15:16:44,815  INFO [Thread-0] (ThreadPut.java:135) - 10946ms:148264
2014-08-30 15:16:55,138  INFO [Thread-1] (ThreadPut.java:135) - 10823ms:148499
2014-08-30 15:16:55,755  INFO [Thread-0] (ThreadPut.java:135) - 10939ms:148499
2014-08-30 15:17:05,820  INFO [Thread-1] (ThreadPut.java:135) - 10681ms:148503
2014-08-30 15:17:06,352  INFO [Thread-0] (ThreadPut.java:135) - 10595ms:148503


2014-08-30 15:24:26,667  INFO [Thread-1] (ThreadPut.java:135) - 10150ms:130519
2014-08-30 15:24:35,191  INFO [Thread-0] (ThreadPut.java:135) - 10393ms:148499
2014-08-30 15:24:37,216  INFO [Thread-1] (ThreadPut.java:135) - 10548ms:148503
2014-08-30 15:24:45,592  INFO [Thread-0] (ThreadPut.java:135) - 10400ms:148503
2014-08-30 15:24:47,584  INFO [Thread-1] (ThreadPut.java:135) - 10367ms:148501
2014-08-30 15:24:56,225  INFO [Thread-0] (ThreadPut.java:135) - 10632ms:148504
2014-08-30 15:24:57,632  INFO [Thread-1] (ThreadPut.java:135) - 10047ms:148497
2014-08-30 15:25:06,411  INFO [Thread-0] (ThreadPut.java:135) - 10185ms:148505


只起 3个线程  



2014-08-30 15:26:34,545  INFO [Thread-1] (ThreadPut.java:135) - 11774ms:142208
2014-08-30 15:26:43,087  INFO [Thread-0] (ThreadPut.java:135) - 10237ms:97797
2014-08-30 15:26:43,594  INFO [Thread-2] (ThreadPut.java:135) - 10117ms:97797
2014-08-30 15:26:44,610  INFO [Thread-1] (ThreadPut.java:135) - 10065ms:99369
2014-08-30 15:26:53,496  INFO [Thread-0] (ThreadPut.java:135) - 10408ms:98960
2014-08-30 15:26:53,994  INFO [Thread-2] (ThreadPut.java:135) - 10399ms:98960
2014-08-30 15:26:54,889  INFO [Thread-1] (ThreadPut.java:135) - 10278ms:99002
2014-08-30 15:27:04,059  INFO [Thread-0] (ThreadPut.java:135) - 10563ms:99001
2014-08-30 15:27:04,583  INFO [Thread-2] (ThreadPut.java:135) - 10588ms:99001
2014-08-30 15:27:05,462  INFO [Thread-1] (ThreadPut.java:135) - 10573ms:98998
2014-08-30 15:27:14,348  INFO [Thread-0] (ThreadPut.java:135) - 10287ms:99001
2014-08-30 15:27:14,867  INFO [Thread-2] (ThreadPut.java:135) - 10284ms:99001
2014-08-30 15:27:15,941  INFO [Thread-1] (ThreadPut.java:135) - 10477ms:98999


2014-08-30 15:27:25,556  INFO [Thread-2] (ThreadPut.java:135) - 10687ms:99000
2014-08-30 15:27:26,522  INFO [Thread-1] (ThreadPut.java:135) - 10581ms:99000
2014-08-30 15:27:36,035  INFO [Thread-0] (ThreadPut.java:135) - 11096ms:99002
2014-08-30 15:27:36,624  INFO [Thread-2] (ThreadPut.java:135) - 11068ms:99002
2014-08-30 15:27:37,599  INFO [Thread-1] (ThreadPut.java:135) - 11075ms:99000
2014-08-30 15:27:46,938  INFO [Thread-0] (ThreadPut.java:135) - 10901ms:99004
2014-08-30 15:27:47,436  INFO [Thread-2] (ThreadPut.java:135) - 10811ms:99004
2014-08-30 15:27:48,370  INFO [Thread-1] (ThreadPut.java:135) - 10770ms:98998



2014-08-30 15:31:18,092  INFO [Thread-1] (ThreadPut.java:135) - 10152ms:124519
2014-08-30 15:31:18,802  INFO [Thread-2] (ThreadPut.java:135) - 10862ms:124519
2014-08-30 15:31:28,840  INFO [Thread-0] (ThreadPut.java:135) - 10831ms:97797
2014-08-30 15:31:29,483  INFO [Thread-1] (ThreadPut.java:135) - 11390ms:99190
2014-08-30 15:31:30,093  INFO [Thread-2] (ThreadPut.java:135) - 11290ms:99190
2014-08-30 15:31:39,419  INFO [Thread-0] (ThreadPut.java:135) - 10578ms:98960
2014-08-30 15:31:40,133  INFO [Thread-1] (ThreadPut.java:135) - 10649ms:99022
2014-08-30 15:31:40,756  INFO [Thread-2] (ThreadPut.java:135) - 10662ms:99022
2014-08-30 15:31:49,447  INFO [Thread-0] (ThreadPut.java:135) - 10027ms:99001
2014-08-30 15:31:50,135  INFO [Thread-1] (ThreadPut.java:135) - 10001ms:105204
2014-08-30 15:31:50,757  INFO [Thread-2] (ThreadPut.java:135) - 10001ms:113363
2014-08-30 15:32:00,534  INFO [Thread-0] (ThreadPut.java:135) - 11086ms:99001
2014-08-30 15:32:01,004  INFO [Thread-1] (ThreadPut.java:135) - 10868ms:92799
2014-08-30 15:32:01,726  INFO [Thread-2] (ThreadPut.java:135) - 10968ms:84640


2014-08-30 15:35:11,252  INFO [Thread-2] (ThreadPut.java:135) - 10401ms:99001
2014-08-30 15:35:12,518  INFO [Thread-0] (ThreadPut.java:135) - 10537ms:99001
2014-08-30 15:35:20,511  INFO [Thread-1] (ThreadPut.java:135) - 11004ms:99000
2014-08-30 15:35:22,043  INFO [Thread-2] (ThreadPut.java:135) - 10790ms:99000
2014-08-30 15:35:23,076  INFO [Thread-0] (ThreadPut.java:135) - 10557ms:99000
2014-08-30 15:35:30,714  INFO [Thread-1] (ThreadPut.java:135) - 10201ms:99002
2014-08-30 15:35:32,426  INFO [Thread-2] (ThreadPut.java:135) - 10383ms:99002
2014-08-30 15:35:33,702  INFO [Thread-0] (ThreadPut.java:135) - 10624ms:99002


-----------开2个 jvm
每个 jvm 起一个进程


top - 15:42:00 up 10 days, 22:16,  5 users,  load average: 3.81, 3.22, 2.68
Tasks: 490 total,   2 running, 483 sleeping,   5 stopped,   0 zombie
Cpu(s): 28.9%us,  1.7%sy,  0.0%ni, 69.0%id,  0.0%wa,  0.0%hi,  0.5%si,  0.0%st
Mem:  65926660k total, 65653428k used,   273232k free,   199280k buffers
Swap:        0k total,        0k used,        0k free, 38592996k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                
 5026 root      20   0 8120m 410m  15m S 160.9  0.6   5:27.02 java                                                                  
 5024 root      20   0 8120m 411m  15m S 155.3  0.6   5:30.08 java                                                                  
23737 hbase     20   0 22.3g  19g  22m S 149.0 30.6   5021:43 java     


2014-08-30 15:41:55,443  INFO [Thread-0] (ThreadPut.java:135) - 10507ms:279570
2014-08-30 15:41:55,467  INFO [Thread-0] (ThreadPut.java:135) - 10023ms:267660
2014-08-30 15:42:05,444  INFO [Thread-0] (ThreadPut.java:135) - 10001ms:279500
2014-08-30 15:42:05,564  INFO [Thread-0] (ThreadPut.java:135) - 10097ms:261253
2014-08-30 15:42:15,571  INFO [Thread-0] (ThreadPut.java:135) - 10126ms:249915
2014-08-30 15:42:15,707  INFO [Thread-0] (ThreadPut.java:135) - 10142ms:263076
2014-08-30 15:42:25,708  INFO [Thread-0] (ThreadPut.java:135) - 10001ms:253250
2014-08-30 15:42:25,935  INFO [Thread-0] (ThreadPut.java:135) - 10363ms:262583





开 1个jvm  

top - 15:46:43 up 10 days, 22:21,  5 users,  load average: 4.12, 3.66, 2.99
Tasks: 490 total,   1 running, 483 sleeping,   6 stopped,   0 zombie
Cpu(s): 16.9%us,  1.2%sy,  0.0%ni, 81.7%id,  0.0%wa,  0.0%hi,  0.2%si,  0.0%st
Mem:  65926660k total, 62788220k used,  3138440k free,   196972k buffers
Swap:        0k total,        0k used,        0k free, 36144432k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                
 6255 root      20   0 8120m 411m  15m S 145.5  0.6   5:02.43 java                                                                  
23737 hbase     20   0 22.3g  19g  22m S 135.6 30.6   5028:12 java                                                                  
23492 hdfs      20   0 6024m 1.4g  19m S  1.3  2.3 704:35.58 java                                                                   
 6377 root      20   0 15296 1564  952 R  1
最低0.47元/天 解锁文章
lhy66
关注
专栏目录
Hbase中Rowkey设计对入库效率的影响
IT影风的博客
06-29 2117
  Rowkey是Hbase每一行记录的唯一标识，在设计Rowkey时，不仅要考虑业务需求，也需要考虑Hbase本身的特性。如果Rowkey设计不合理，不仅不能充分发挥Hbase集群并行处理的优势，还会造成数据倾斜、Region热点等影响读写效率的问题。  Rowkey设计原则Rowkey设计一般遵循以下三个原则：1、 唯一性原则Rowkey在设计时必须保持唯一性，如果两条记录Rowkey相同，H...
hbase入库效率提升研究（一）
bluekeyv的专栏
12-10 8100
      最近在研究hbase，查询效率确实不错，不过入库效率不理想，今天周五就小结以下。       hbase使用java 的api入库很简单：       Configuration conf = HBaseConfiguration.create();       HTable table = new HTable();       Put p = new Put("表名");       p.add(("族列名").getBytes(), "字段名".getBytes(),"值".ge
Oracle入库速度测试(C#版)
sail988的专栏
08-26 210
测试环境： Intel Xeon 2.4G四核心 2.5G内存 Server 2003 Enterprise Edition Service Pack 2 Oracle9i Enterprise Edition 9.2.0.1.0 Microsoft Visual Studio 2008 组件Oracle提供的Oracle.DataAccess.d...
怎样提高hbase的入库性能
weixin_33772645的博客
06-13 123
        hbase写数据首先先写入memstore。当memstore满64MB以后，会flush到disk上而成为storefile。当storefile数量超过3时。会启动compaction过程将它们合并为一个storefile。这个过程中会删除一些timestamp过期的数据，比方update的数据。而当合并后的storefile大小大于hfile默认最大值时，会触发spl...
hbase入库
csdncjh的博客
02-17 588
需求：抽取一批定向用户的号码难点：运营商提供的数据用户号码等隐私字段都经过了脱敏处理，使用了MD5加密解决：方案一：部分url字段中包含了用户号码的明文字段，可以从中提取。方案二：根据电信号码的编码规律得到所有电信号码以及其对应的MD5编码，通过撞库可以获取指定用户的号码。方案一探究： hadoop dfs -text /daas/bstl/dpiqixin/beijing/20151115
hbase性能测试
热门推荐
沉底的石头
07-30 1万+
hbase性能测试 针对现有系统分别插入1w，10w，100w条数据的入库测试结果： 入库条数：     1w(3台)，      10w(3台)，      100w(4台) RunTime(ms),   5509.0          15385.0         105240.0    感觉速度不是很快，需要去优化一些参数，下面是操作步骤。   1.下载，进去https:/
验证HBase新特性MOB并发读与写到底性能如何？
美丽的毛毛草
08-21 1561
验证HBase新特性MOB并发读与写到底性能如何？1. HBase MOB是什么？2. 搭建环境并造数据3. 测试场景3.1 入库3.2 查询4. 测试结果 有没有兄弟突然接到领导的任务是这样子的？ “ 听说HBase 2.X 有个新特性MOB，你给咱测测他的性能。” 然后给拨了几台物理机，什么多的描述都没了，此时让人真心想把笔与本子扔他脸上，来句老子不测！哎，谁让咱是拿人家工资，得听人家号令。 遇到这种常见问题，本博主从解决问题的思路上给大家分享一下。 1、先来看看什么是HBase MOB新特性，不然验
hbase合集
leezsj的博客
07-17 1320
HBASE hbase的来源 1、hdfs的数据读写延迟高 2、不能进行实时删除局部数据 3、hive的数据必须要指定的列或者字段，必须要格式化的数据 4、hbase来源于google的bigtable hbase的定义 hbase是一个基于hadoop开源的，分布式的，多版本的，可扩展的，非关系型数据库，能够处理海量数据，（数十亿行，数百万列），面向列存储，面向稀疏存储（mysql面向行存储） HBase特性 hbase类似于：redis，clickhouse,mongodb，canss
Hbase几种入库方式
05-10
Hbase几种数据入库（load）方式比较
hbase入库效率提升研究（二）
bluekeyv的专栏
06-30 1660
接着前一篇文章所说，在hbase入库效率上有较大作用的几个因素 一、writebuffersize大小的设置，太大和太小都会使速度下降。原因是太大每次提交数量大，提交频度下降；太小每次提交数量小，提交频度高。按照目前的测试结果来看64MB是一个理想值 二、硬盘配置，在底层的hadoop上不要对硬盘做raid，能够充分利用每块磁盘的使用效率 三、regionserver的fl
hbase入库效率提升研究
sov的专栏
04-06 923
<br /> 最近在研究hbase，查询效率确实不错，不过入库效率不理想，今天周五就小结以下。<br /><br /> hbase使用java 的api入库很简单：<br /><br /> Configuration conf = HBaseConfiguration.create();<br /><br /> HTable table = new HTable();<br /><br /> Put p = new Put("表名");<br /><br />
基于HBase的入库方案效率对比验证（二）
chaijuntao的博客
08-03 240
上节中，我们采用JavaAPI的方式来操作HBase，接连和访问方式都比较简单直接，而本节我们采用MapReduce的方式来操作HBase，那么就要先配置好Eclipse-Hadoop的插件。   一、安装Eclipse-Hadoop插件 由于网上这方面的资料非常全，所以本人推荐一个参考博文，照着配置就OK： http://www.cnblogs.com/flyoung2008/arc...
基于HBase的入库方案效率对比验证（一）
chaijuntao的博客
07-31 400
一、背景说明 HBase是一个分布式的、面向列的开源NoSQL数据库，不同于传统关系型数据库，它在大数据量级下的性能表现堪称卓越。最近项目也在探索往Hbase方向迁移，故首先整理了一份Hbase入库效率方面的数据。 Hbase入库手段有三种，但针对项目实际情况，我采用了其中两种（JavaAPI和MapReduce）来进行入库操作，并进行比较。   二、测试环境 三台主机:一台mast...
hbase入库几种方式
Malik的博客
02-20 8429
hbase入库四种方式 hbase入库四种方式 第一种利用client API 进行对hbase操作 第二种利用Hbase提供的ImportTsv将csv文件导入到HBase用 importtsv 和 bulk load将TSV数据文件导入HBase 第三种利用HBase提供的Import将数据导入到HBase 第四种利用HBase提供的completebulkload将数据导入到HBas
数据入hbase几种方式和对应的效率
weixin_44736028的博客
12-11 356
使用ImportTsv方式导入 类： org.apache.hadoop.hbase.mapreduce.ImportTsv 小记：使用awk ‘$0=NR"^"$0’ file_name在文档每一列前面加行号，657680行221M数据用了15分钟 平均下来每一行数：346byte 数据准备：sma.dwd_nb_prem.20190228.001.i.1.dat 列名： num int, eventtype_code STRING(32767), grpc
kafka-connect-hbase 写入性能调优
Mr__XiaoBai的专栏
02-18 1443
     在实践中需要将kafaka中的数据写入到hbase 中，采用了kafka-connect-hbase这个扩展插件，但经过性能测试，写入速度较低，平均在200条/s左右，无法满足线上8000万数据的实时写入，但采用hbase的压测工具测试写入速度可达10000条/s以上，故对kafka-connect-hbase进行了性能测试。思路如下，在kafka-connect-hbase的关键步骤中...
如何提高hbase的入库性能
zcc_0015的专栏
04-19 2135
hbase写数据首先先写入memstore，当memstore满64MB以后，会flush到disk上而成为storefile。当storefile数量超过3时，会启动compaction过程将它们合并为一个storefile。这个过程中会删除一些timestamp过期的数据，比如update的数据。而当合并后的storefile大小大于hfile默认最大值时，会触发split动作，将它切分成两个
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值