使用YCSB benchmark对HBase分布式环境进行测试

最新推荐文章于 2024-03-01 21:55:39 发布
最新推荐文章于 2024-03-01 21:55:39 发布
阅读量2.5k 收藏 8
点赞数 1
分类专栏： HBase 文章标签： benchmark ycsb hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014454538/article/details/83627846
版权

1. 下载YCSB并解压缩

① 下载对应版本的YCSB
不同版本的HBase对应不同的YCSB，本机安装的是hbase-1.4.6版本，所以下载的是ycsb-hbase14-binding-0.15.0.tar.gz。
YCSB的下载地址为：YCSB下载

② 解压缩YCSB

$ sudo tar -zxvf ycsb-hbase14-binding-0.15.0.tar.gz
$ sudo chmod -R 0777 ycsb-hbase14-binding-0.15.0 #设置文件权限
$ sudo cp -rf ycsb-hbase14-binding-0.15.0 /home/cephlee

将ycsb-hbase14-binding-0.15.0改名为ycsb-hbase14。

2. 配置YCSB

① 使用gedit命令设置YCSB系统环境变量

$ sudo gedit ~/.bashrc

添加以下内容：

export YCSB_HOME=/home/cephlee/ycsb-hbase14
export PATH=$PATH:$YCSB_HOME/bin

使用source命令使系统环境变量生效：

$ source ~/.bashrc

输入以下命令，查看系统环境变量是否生效：

$ ycsb

显示信息如下（部分信息截图）：
在这里插入图片描述

② 添加hbase-site.xml
在ycsb-hbase14中创建conf文件夹，将hbase/conf中的hbase-site.xml复制到ycsb-hbase14/conf中。

3. 学习YCSB的压力测试场景

在ycsb-hbase14/workloads目录中，包含一些压力测试的场景文件。YCSB自带了6种压力测试场景，文件和相应场景的对应关系如下：

名称特点Request distributionscan length distribution
workloada读写均衡型，50% Read，50% Writezipfian，随机选择记录，存在热记录无
workloadb读多写少型，95% Read，5% Writezipfian，随机选择记录，存在热记录无
workloadc只读型，100% Readzipfian，随机选择记录，存在热记录无
workloadd95% Read，5% Insertlatest，近期写入的记录为热记录无
workloade95% Scan， 5% Insertzipfian，随机选择记录，存在热记录uniform，等概论随机选择记录
workloadf50% Read，50% Read-modify-writezipfian，随机选择记录，存在热记录无

4. 使用YCSB进行HBase压力测试

① 在HBase中创建表
在hbase shell模式下，输入以下命令创建创建usertable表，列簇family 。这个是YCSB测试的前置条件，测试脚本中不会自动创建：

$ create 'usertable','family'

如下信息表示建表成功：

hbase(main):006:0> create 'usertable','family'
0 row(s) in 4.3920 seconds
=> Hbase::Table - usertable

本人在创建usertable表时，提示：

hbase(main):001:0> create 'usertable','family'
ERROR: Table already exists: usertable!

但是通过list命令查看table，没有发现usertable，解决办法：
参考链接：Hbase ERROR: Table already exists ，问题得到解决。使用到的命令如下：

$ hbase zkcli     #进入zookeeper client模式
$ ls /hbase/table  #查看zombie table
$ rmr /hbase/table/usertable    #删除zombie table,其中usertable表示要删除的TABLE_NAME
$ stop-hbase.sh     # 重启Hbase
$ start-hbase.sh

② 加载数据
切换到$YCSB_HOME目录，执行以下命令，加载10000条记录：

$ ycsb load hbase14 -P workloads/workloada -cp /home/ycsb-hbase14/conf -p table=usertable -p columnfamily=family -p recordcount=10000

参数解释如下:
load： 表示这是一次加载数据操作
hbase14:：指明了所用的数据库类型,本人使用的是hbase1.4.6，所以为hbase14；
-P：指明了所用的配置文件的路径
-cp：指定了hbase的配置文件所在的路径，由于最开始已经将hbase/conf中的hbase-site.xml复制到ycsb-hbase14/conf中，所以这里写
-p： 可以显示修改YCSB内置的默认配置，例如这里配置recordcount=10000来覆盖之前说过的workloada中默认的recordcount=1000；

数据加载结果：

$ ycsb load hbase14 -P workloads/workloada -cp /home/ycsb-hbase14/conf -p table=usertable -p columnfamily=family -p recordcount=10000
/usr/local/jdk18/bin/java -cp /home/ycsb-hbase14/conf:/home/cephlee/ycsb-hbase14/hbase14-binding/conf:/home/cephlee/ycsb-hbase14/conf:/home/cephlee/ycsb-hbase14/lib/htrace-core-3.1.0-incubating.jar:/home/cephlee/ycsb-hbase14/lib/log4j-1.2.17.jar:/home/cephlee/ycsb-hbase14/lib/hbase14-binding-0.15.0.jar:/home/cephlee/ycsb-hbase14/lib/slf4j-log4j12-1.7.7.jar:/home/cephlee/ycsb-hbase14/lib/core-0.15.0.jar:/home/cephlee/ycsb-hbase14/lib/jackson-mapper-asl-1.9.4.jar:/home/cephlee/ycsb-hbase14/lib/slf4j-api-1.7.25.jar:/home/cephlee/ycsb-hbase14/lib/commons-logging-1.2.jar:/home/cephlee/ycsb-hbase14/lib/HdrHistogram-2.1.4.jar:/home/cephlee/ycsb-hbase14/lib/hbase-shaded-client-1.4.2.jar:/home/cephlee/ycsb-hbase14/lib/htrace-core4-4.1.0-incubating.jar:/home/cephlee/ycsb-hbase14/lib/findbugs-annotations-1.3.9-1.jar:/home/cephlee/ycsb-hbase14/lib/hbase10-binding-0.15.0.jar:/home/cephlee/ycsb-hbase14/lib/jackson-core-asl-1.9.4.jar com.yahoo.ycsb.Client -db com.yahoo.ycsb.db.hbase14.HBaseClient14 -P workloads/workloada -p table=usertable -p columnfamily=family -p recordcount=10000 -load
Command line: -db com.yahoo.ycsb.db.hbase14.HBaseClient14 -P workloads/workloada -p table=usertable -p columnfamily=family -p recordcount=10000 -load
YCSB Client 0.15.0

Loading workload...
 (might take a few minutes for large data sets)
log4j:WARN No appenders could be found for logger (org.apache.htrace.core.Tracer).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Starting test.
DBWrapper: report latency for each error is false and specific error codes to track for latency are: []
[OVERALL], RunTime(ms), 91443
[OVERALL], Throughput(ops/sec), 109.35774198134357
[TOTAL_GCS_PS_Scavenge], Count, 25
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 284
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.31057598722701574
[TOTAL_GCS_PS_MarkSweep], Count, 1
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 119
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.13013571295779885
[TOTAL_GCs], Count, 26
[TOTAL_GC_TIME], Time(ms), 403
[TOTAL_GC_TIME_%], Time(%), 0.4407117001848146
[CLEANUP], Operations, 2
[CLEANUP], AverageLatency(us), 61883.5
[CLEANUP], MinLatency(us), 23
[CLEANUP], MaxLatency(us), 123775
[CLEANUP], 95thPercentileLatency(us), 123775
[CLEANUP], 99thPercentileLatency(us), 123775
[INSERT], Operations, 10000
[INSERT], AverageLatency(us), 7909.6476
[INSERT], MinLatency(us), 4372
[INSERT], MaxLatency(us), 2238463
[INSERT], 95thPercentileLatency(us), 12111
[INSERT], 99thPercentileLatency(us), 17711
[INSERT], Return=OK, 10000

③ 执行压力测试
在$YCSB_HOME目录下，执行以下命令，执行10000条记录的压力测试：

$ ycsb run hbase14 -P workloads/workloada -cp /home/ycsb-hbase14/conf -p table=usertable -p columnfamily=family  -p operationcount=10000

参数解读：
-p operationcount=10000： 覆盖了workloada中operationcount=1000表示本次测试操作记录数为10000

数据运行结果：

$ ycsb run hbase14 -P workloads/workloada -cp /home/ycsb-hbase14/conf -p table=usertable -p columnfamily=family -p operationcount=10000
/usr/local/jdk18/bin/java -cp /home/ycsb-hbase14/conf:/home/cephlee/ycsb-hbase14/hbase14-binding/conf:/home/cephlee/ycsb-hbase14/conf:/home/cephlee/ycsb-hbase14/lib/htrace-core-3.1.0-incubating.jar:/home/cephlee/ycsb-hbase14/lib/log4j-1.2.17.jar:/home/cephlee/ycsb-hbase14/lib/hbase14-binding-0.15.0.jar:/home/cephlee/ycsb-hbase14/lib/slf4j-log4j12-1.7.7.jar:/home/cephlee/ycsb-hbase14/lib/core-0.15.0.jar:/home/cephlee/ycsb-hbase14/lib/jackson-mapper-asl-1.9.4.jar:/home/cephlee/ycsb-hbase14/lib/slf4j-api-1.7.25.jar:/home/cephlee/ycsb-hbase14/lib/commons-logging-1.2.jar:/home/cephlee/ycsb-hbase14/lib/HdrHistogram-2.1.4.jar:/home/cephlee/ycsb-hbase14/lib/hbase-shaded-client-1.4.2.jar:/home/cephlee/ycsb-hbase14/lib/htrace-core4-4.1.0-incubating.jar:/home/cephlee/ycsb-hbase14/lib/findbugs-annotations-1.3.9-1.jar:/home/cephlee/ycsb-hbase14/lib/hbase10-binding-0.15.0.jar:/home/cephlee/ycsb-hbase14/lib/jackson-core-asl-1.9.4.jar com.yahoo.ycsb.Client -db com.yahoo.ycsb.db.hbase14.HBaseClient14 -P workloads/workloada -p table=usertable -p columnfamily=family -t
Command line: -db com.yahoo.ycsb.db.hbase14.HBaseClient14 -P workloads/workloada -p table=usertable -p columnfamily=family -t
YCSB Client 0.15.0

Loading workload...
log4j:WARN No appenders could be found for logger (org.apache.htrace.core.Tracer).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Starting test.
DBWrapper: report latency for each error is false and specific error codes to track for latency are: []
[OVERALL], RunTime(ms), 12446
[OVERALL], Throughput(ops/sec), 80.34709946970915
[TOTAL_GCS_PS_Scavenge], Count, 5
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 108
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.8677486742728587
[TOTAL_GCS_PS_MarkSweep], Count, 1
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 89
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.7150891852804114
[TOTAL_GCs], Count, 6
[TOTAL_GC_TIME], Time(ms), 197
[TOTAL_GC_TIME_%], Time(%), 1.58283785955327
[READ], Operations, 518
[READ], AverageLatency(us), 5644.959459459459
[READ], MinLatency(us), 3222
[READ], MaxLatency(us), 482815
[READ], 95thPercentileLatency(us), 7099
[READ], 99thPercentileLatency(us), 13935
[READ], Return=OK, 518
[CLEANUP], Operations, 2
[CLEANUP], AverageLatency(us), 56741.5
[CLEANUP], MinLatency(us), 43
[CLEANUP], MaxLatency(us), 113471
[CLEANUP], 95thPercentileLatency(us), 113471
[CLEANUP], 99thPercentileLatency(us), 113471
[UPDATE], Operations, 482
[UPDATE], AverageLatency(us), 9502.92531120332
[UPDATE], MinLatency(us), 5748
[UPDATE], MaxLatency(us), 269055
[UPDATE], 95thPercentileLatency(us), 15191
[UPDATE], 99thPercentileLatency(us), 34143
[UPDATE], Return=OK, 482
晓之木初
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用ycsb对hbase进行性能测试
kyj3518861703的博客
04-23 725
一：预备知识： 1、需要配置好hbase: 配置hbase的文档： hbase分布式环境的安装配置_古柯(●—●)的博客-CSDN博客 2、下载安装ycsb: 解压代码： tar zxvf ycsb-hbase14-binding-0.17.0.tar.gz 二、安装ycsb并测试 1、配置环境变量.bashrc: 执行： vi .bashrc 在其中加入： #ycsb export YCSB_HOME=/home/KYJ/soft/ycsb-hbase14-binding
YCSB测试HBase的使用方法
ArivnXu的博客
07-14 1694
n_splits = 20 create 'usertable','family',{SPLITS => (1..n_splits).map {|i| "user#{1000+i*(9999-1000)/n_splits}"}} bin/ycsb run hbase10 -P workloads/workloada -cp /var/rds/hbase-1.3.0/conf -p tabl
MongoDB不同压缩算法的影响
oTianQing1234的博客
04-25 898
1.基本信息 版本3.4.5 测试 zlib 和snappy 4.2支持zetc没有测试 2.过程 数据大小： fieldcount=8 fieldlength=250 db.createCollection( "usertable", {storageEngine:{wiredTiger:{configString:'block_compressor=zlib'}}} ); YCSB Client 0.17.0 Loading workload... Starting tes
使用ycsb对mongo单实例做性能测试
雅冰石的专栏
01-11 2030
本文详细演示在16G,4核cpu配置下用ycsb（版本0.17）对mongo(版本4.0.10)单实例进行性能测试。 测试表数据量：一千万条数据 一 安装ycsb 安装包下载地址： https://github.com/brianfrankcooper/YCSB/releases/download/0.17.0/ycsb-0.17.0.tar.gz tar xfvz ycsb-0.17.0.tar.gz cd ycsb-0.17.0 二 使用ycsb对mongo做性能测试 2.1 选择合适的
采用YCSB对Hbase进行性能测试
风筝中有风
03-09 2402
参考博客：http://blog.csdn.net/bryce123phy/article/details/51254235                 https://zhuanlan.zhihu.com/p/29370650上一篇对大数据平台基准测试结合其他博客作了一个总结，这两天需要对hbase进行性能测试，这里也对雅虎的YCSB作一下自己的总结。1、YCSB介绍YCSB，全称为“Yah...
【测试】自定义配置 RocksDB 进行 YCSB 测试
乐园
12-26 1475
文章目录简介编译 RocksDB编译 YCSB修复报错自定义配置 RocksDB 进行 YCSB 测试参考资料 本文主要记录在利用 YCSB 使用配置文件测试 RocksDB 的过程中遇到的一些问题以及相应的解决办法 简介 YCSB 的全程是 Yahoo! Cloud Serving Benchmark，是雅虎开发的用来对云服务进行基础测试的工具，支持目前常见的 NoSQL 数据库产品，如 HBase、MongoDB、OrientDB、Redis 等等 RocksDB 是一个具有键/值接口的存储引擎，其中
懒癌患者基于 YCSB 构造 hudi upsert 数据集（上篇）
507_fzs的博客
03-22 504
用 YCSB 压力测试工具构造 upsert 数据集到 kafka 是什么奇怪的操作
benchmark_hbase_cassandra:使用 YCSB 对 HBase 和 Cassandra 进行基准测试的脚本
07-06
benchmark_hbase_cassandra 使用 YCSB 对 HBase 和 Cassandra 进行基准测试的脚本。 数据库 - HBase 和 Cassandra benchmark_report.pdf 该文件包含使用 YCSB 的 HBase 和 Cassandra 基准测试结果的报告和观察结果。...
YCSB之HBase压力测试.pdf
11-01
本文讲解如何安装和配置YCSB，如何使用YCSB给Hbase加载测试数据，如何使用YCSB命令测试Hbase读写性能。主要解释了各个命令行参数的作用。
ycsb-hbase14-binding-0.17.0
09-11
4. **配置灵活性**：YCSB-HBase14-Binding支持自定义配置，包括连接池大小、并发线程数、操作类型比例等，这使得测试环境可以根据实际部署情况进行调整，以更准确地反映真实性能。 5. **易用性提升**：0.17.0版本...
分布式数据库 性能测试.doc
07-09
本文主要探讨了使用YCSB工具对Hbase和Mysql进行性能测试的情况。 首先，Hbase是一个分布式、列导向的开源数据库，灵感源自Google的Bigtable论文。它建立在Hadoop之上，提供类似Bigtable的功能，特别适合存储非结构...
kundera-benchmark:使用 YCSB 的基准测试
06-10
#昆德拉基准使用测试 Kundera 扩展的基准实用程序。 可用的 YCSB 适配器有： 具有低级 API 的 Azure 表带有 Kundera 和 Kundea-azure-table 扩展的 Azure 表具有低级 API 的 GAE 数据存储带有 Kundera 和 Kundea-gae...
hbase+ycsb工具
08-30
使用YCSB测试HBase性能时，你需要进行以下步骤： 1. **安装与配置**：首先确保你已经安装了HBase和Hadoop，并正确配置了环境。YCSB也需要安装，并且要下载对应HBase版本的绑定包。 2. **准备数据**：YCSB提供了...
YCSB HBase Group 7-1 性能测试步骤
09-04
YCSB HBase Group 7-1 测试步骤
HADOOP&ZK&HBASE&YCSB集群搭建验证
08-21
在搭建 HADOOP&ZOOKEEPER&HBASE&YCSB 集群之前，需要进行一些准备工作。 1. 服务器环境：需要至少两台服务器，用于搭建 HADOOP 集群、ZOOKEEPER 集群和 HBASE 集群。 2. 时间同步：需要同步所有服务器的时间，以...
使用 go-ycsb 对 etcd 进行基准 (benchmark) 性能测试
最新发布
ShanSan
03-01 1231
本文主要介绍使用 go-ycsb 基于 etcd 官方提供的性能场景场景 -> [Benchmarking etcd v3](https://etcd.io/docs/v3.5/benchmarks/etcd-3-demo-benchmarks/)，做一下基准性能测试。
HBASE测试YCSB关于READ-FAILED问题
行路中
04-01 757
最近对HBASE做了YCSB的测试，数据load后，然后run以后会得到如下结果： 发现会有很多READ_FAILED，看图可以发现READ_FAILED本质上就是Return=NOT_FOUND。 研究了一下READ的源码（https://github.com/brianfrankcooper/YCSB/blob/0.17.0/hbase10/src/main/java/site/ycsb/db/HBaseClient10.java） 可以发现当r.isEmpty()时返回为NOT_FOUN
YCSB测试HBase性能
weixin_45609796的博客
11-17 952
版本： Hadoop 2.7.7 HBase 1.1.2 Hadoop为伪分布式安装。 首先下载YSCB安装包，目前我下载的版本为ycsb-hbase12-binding-0.14.0，是YSCB针对HBase精简的版本。这是下载地址 一、YSCB的安装与配置 1.1 YSCB的安装 点击以上连接，选择ycsb-hbase12-binding-0.14.0.tar.gz安装包下载。默认保存到Dow...
【SequoiaDB教程】利用YCSB测试巨杉数据库性能
巨杉数据库技术社区
09-01 3085
一、前言 巨杉数据库（SequoiaDB）是国内第一款新一代文档型分布式数据库，巨杉数据库由巨杉软件完全自主研发，拥有完全自主知识产权，不基于任何其它的开源项目。SequoiaDB数据库是为分布式存储、并行计算模型、云计算资源条件下搭建和运行应用程序而设计的。 作为一款操作性数据库，巨杉数据库在海量数据实时读写场景具有得天独厚的优势，拥有较高的读写性能。 为便于跟其他同类数据库进
java模拟数据库压测_Mongodb 使用YCSB性能压测
05-22
要使用YCSB对Mongodb进行性能压测，需要先进行以下准备工作： 1. 安装Mongodb数据库，并启动Mongodb服务。 2. 下载YCSB并解压缩到本地。 接下来，按照以下步骤进行操作： 1. 进入解压后的YCSB目录，找到mongodb子...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值