1 单机HBase集群测试报告
1.1 机器参数
硬件信息 | 机器3台 dell PowerEdge R710 内存:8G, cup 24核, 6x1t磁盘 |
操作系统 | ubuntu-12.04.1-server-amd64 |
1.2 HBase单点测试
单点测试:
单硬盘配置
Lzo压缩开启
单点测试数据:
分别写入108,844,93、108,844,930条数据,单表单列,autoflush=true,单条写入和读取。
类型 | 测试集群 | Region数量 | 线程数 | 操作记录条数 | Key平均长度 | Value平均长度 | 每条记录平均操作时间 | 平均tps |
Put | 单节点 | 255/765 | 300 | 108844930 | 70 | 136 | 1.544ms | 648.87 |
Put | 单节点 | 500 | 300 | 10884493 | 70 | 136 | 0.633ms | 1579.39 |
Put | 单节点 | 500 | 300 | 108844930 | 70 | 136 | 1.135ms | 880.6 |
Put | 单节点 | 1000 | 300 | 108844930 | 70 | 136 | 5.497ms | 181.9 |
Get | 单节点 | 255/765 | 300 | 2000000 | 70 | 136 | 1.738ms | 575.1 |
Get | 单节点 | 500 | 300 | 200000 | 70 | 136 | 0.234ms | 4255.95 |
Get | 单节点 | 500 | 300 | 2000000 | 70 | 136 | 0.687ms | 1454.69 |
Get | 单节点 | 1000 | 300 | 2000000 | 70 | 136 | 1.599ms | 625.05 |
Put&Get | 单节点 | 255/765 | 300 &300 | 108844930&2000000 | 70 | 136 | 1.576ms&2.60ms | 634.43&384.44 |
Put&Get | 单节点 | 500 | 300 &300 | 108844930&2000000 | 70 | 136 | 1.445ms | 691.1 |
记录操作时间分布图:
图1 千万级测试操作时间分布图,其中读写操作单独测试,写10884493条,读200000条,在图表中按比例呈现
图 2 亿级测试操作时间分布图,其中读写操作单独测试,写108844930条,读2000000条,在图表中按比例呈现
2 HBase集群测试数据
机器参数:
操作系统:64bit turbolinux
硬盘:7200r/s
内存:16G
Cpu:8核
集群参数:
5 nodes, 3 znodes,同一个机架
单硬盘配置
Lzo压缩开启
关键配置项:
测试数据:
写入108,844,930条数据,单表单列,autoflush=true,单条写入和读取。
类型 | 线程数 | 操作记录条数 | Key平均长度 | Value平均长度 | 每条记录平均操作时间 | 平均tps |
Put | 300 | 108844930 | 70 | 136 | 3.663ms | 272.99 |
Get | 300 | 2000000 | 70 | 136 | 1.204ms | 830.41 |
Put&Get | 300&300 | 108844930&2000000 | 70 | 136 | Put:4.724ms& Get:2.268ms | Put:211.7&Get:441 |
记录操作时间分布图:
图2-1 写操作时间统计图
图2-2 读操作时间统计图
图2-3 读写操作时间统计图