Hbase基准测试

Hbase基准测试

1.Hbase读写测试

1.1Hbase顺序写

测试原理

Hbase自带org.apache.hadoop.hbase.PerformanceEvaluation--nomapred工具

测试环境

3台服务器-hadoop集群模式：hadoop版本2.7.2  hbase1.3.1
hadoop命令配置环境变量
hbase命令配置环境变量
配置1台 ：内存16G、CPU4核、宽带1Mbps、SSD500G
配置2台 ：内存4G、CPU2核、宽带1Mbps、SSD500G

测试方案

预分区100regions,100线程并发，顺序写1亿条数据

注意事项

1. Hbase PE默认使用mapreduce作业进行读写扫描数据，如果使用多线程/客户端并发来代替mapreduce作业，需要加上选项--nomapred

2. 设置每个客户端处理多少行记录，使用参数--rows,列如--rows=1000000,即每个线程/客户端处理1000000行记录

3. --presplit参数，只有在写数据时使用，读表时使用参数--presplit,会导致之前写的表数据被删除

4. 最后一个参数100即为100个线程/客户端并发。

测试步骤

• 执行顺序写性能测试（100个regions,100线程并发，顺序写1亿条数据），执行如下命令

hbase org.apache.hadoop.hbase.PerformanceEvaluation--nomapred --rows=1000000 --presplit=100 sequentialWrite 100

<