hbase性能测试

最新推荐文章于 2023-04-07 22:09:01 发布

驰驰的老爸

最新推荐文章于 2023-04-07 22:09:01 发布

阅读量1.2w

点赞数 2

分类专栏： linux hbase

本文链接：https://blog.csdn.net/huoyunshen88/article/details/38299481

版权

本文记录了对HBase进行性能测试的过程，包括插入1w、10w、100w条数据的测试结果，并详细描述了YCSB工具的使用方法。测试显示速度较慢，后续进行了集群扩展和参数调优，但性能仍有待提高。

摘要由CSDN通过智能技术生成

hbase性能测试
针对现有系统分别插入1w，10w，100w条数据的入库测试结果：
入库条数： 1w(3台)， 10w(3台)， 100w(4台)
RunTime(ms), 5509.0 15385.0 105240.0

感觉速度不是很快，需要去优化一些参数，下面是操作步骤。

1.下载，进去https://github.com/brianfrankcooper/YCSB下，down下代码编译。
2.把安装包扔到环境中去，解压，开始配置测试环境。

拷贝hbase中的jar包拷贝到hbase-binding/lib文件夹下
[root@XAYQ-Test2 ycsb-0.1.4]# cp /opt/cdh5/hbase-0.96/lib/* ./hbase-binding/lib/
将hbase中的/conf/hbase-site.xml拷贝到/hbase-binding/conf下

在hbase中创建指定的表：usertable。测试默认的是要操作这样的一张表。
[root@XAYQ-Test2 ycsb-0.1.4]# hbase shell
hbase(main):001:0> create 'usertable','f1','f2','f3'
测试过程分为两个阶段，首先是加载数据，其次是执行事务。
加载数据，进入ycsb的bin目录，开始输入命令:

[root@XAYQ-Test2 ycsb-0.1.4]# ./ycsb load hbase -P ../workloads/workloada -p threads=10 -p columnfamily=f1 -p recordcount=10000 -s > load.log
  命令分析：load：表明为加载数据测试。
    -P:指定配置文件
     workloads/workloada: 为配置文件。This workload has a mix of 50/50 reads and writes
     -p：参数
     threads:the number of client threads

加载完数据后，显示的部分结果如下：

Command line: -db com.yahoo.ycsb.db.HBaseClient -P ../workloads/workloada -p threads=10 -p columnfamily=f1 -p recordcount=10000 -s -load
[OVERALL], RunTime(ms), 5509.0
[OVERALL],