运行环境 :amazon ubuntu18.04
ycsb需要java maven python环境,并测试下是否安装成功
sudo apt install openjdk-8-jre-headless
java -version
sudo apt install maven
mvn --version
sudo apt install python
python --version
下面安装mongodb
sudo apt-get install mongodb
进入mongodb,并且创建一个ycsb的数据库
mongo
#进入mongoDB后,创建一个ycsb数据局
> use ycsb
switched to db ycsb
下面安装ycsb
curl -O --location https://github.com/brianfrankcooper/YCSB/releases/download/0.17.0/ycsb-0.17.0.tar.gz
tar xfvz ycsb-0.17.0.tar.gz
同步驱动加载、运行
cd ycsb-0.17.0
./bin/ycsb load mongodb -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0
./bin/ycsb run mongodb -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0
测试结果:
测试说明
参考:https://blog.csdn.net/vkingnew/article/details/82027461
测试模式
文件名 测试场景 读取更新插入比 应用示例
workloada Update heavy workload 50/50 Session store recording recent actions
workloadb Read mostly workload 95/5 photo tagging; add a tag is an update, but most operations are to read tags
workloadc Read only 100/0 user profile cache, where profiles are constructed elsewhere (e.g., Hadoop)
workloadd Read latest workload 95/0/5 user status updates; people want to read the latest
workloade Short ranges 95/5 threaded conversations, where each scan is for the posts in a given thread (assumed to be clustered by thread id)
workloadf Read-modify-write workload 50/50 user database, where user records are read and modified by the user or to record user activity.
注释:
其他的默认参数:
Default data size: 1 KB records (10 fields, 100 bytes each, plus key)
Request distribution: zipfian
配置模式中的参数:
参数 说明
fieldcount 单条记录字段个数,默认10
fieldlength 每个字段的大小,默认100B
readallfields 是否读取所有记录,默认true
readproportion 读比例(默认0.95)
updateproportion 更新比例(默认0.05)
insertproportion 插入比例(默认0)
scanproportion 扫描比例(默认0)
readmodifywriteproportion 同一记录读、修改、回写比例(默认值:0)
requestdistribution 记录选择策略:uniform,zipfian,latest(默认值:uniform)
maxscanlength 最大scan记录数(默认值:100)
scanlengthdistribution scan记录选择策略(默认值:uniform)
insertorder 记录插入策略:ordered,hashed(默认值:hashed)
operationcount 操作执行数
maxexecutiontime 最大执行时间,单位:秒
table 表名(默认值值usertable)
recordcount 初始化记录条数(默认值:0)
mongodb参数设置:
参数 说明
mongodb.url MongoDB URI或者连接串
mongodb.batchsize 对大量inert操作的时候,分批commit提交,提高吞吐量
mongodb.upsert 默认是false.true表示update操作,false表示insert操作.
mongodb.writeConcern 默认值是acknowledged。
可选的值:
- `errors_ignored`
- `unacknowledged`
- `acknowledged`
- `journaled`
- `replica_acknowledged`
- `majority`
mongodb.readPreference 默认值是primary
可选值:
- `primary`
- `primary_preferred`
- `secondary`
- `secondary_preferred`
- `nearest`
mongodb.maxconnections 默认值是100. mongodb.url选型中的maxPoolSize的值。
mongodb.threadsAllowedToBlockForConnectionMultiplier
默认值是5. mongodb.url 选型中的waitQueueMultiple的值。
测试步骤:
--压力测试的步骤:
1.启动mongoDB,建立测试数据库
2.编写workload文件:
3.加载数据:load
3.运行压测:run
4.压测过程中可配合mongostat,iostat,pmm等图形界面的监控一起观察
5.在不同并发下压力测试。
6.出具测试报告。