之前写的使用COSBench工具对ceph s3接口进行压力测试是入门,在实际使用是,配置内容各不一样,下面列出
压力脚本是xml格式的,套用UserGuide文档说明,如下
有很多模板的例子,在conf目录下,如librados-config-sample.xml、s3-config-sample.xml
这里只有s3的,所以目前只关注s3的相关配置
S3的配置在页面上选择时没有显示出来,所以我们就进行手工配置
第一级workload,格式如下:
<workload name=”demo” description=”demo benchmark with mock storage” />
属性 | 类型 | 默认值 | 备注 |
Name | String |
| 名字,随便取 |
Descriptipion | String |
| 描述 |
对应s3就用storage参数,格式如下:
<storage type="s3" config="accesskey=<accesskey>;secretkey=<scretkey>;endpoint=<endpoint>; proxyhost=<proxyhost>;proxyport=<proxyport>" />
属性 | 类型 | 默认值 | 备注 |
Timeout | Int | 30,000 | 毫秒 |
Accesskey | String |
| S3 的accesskey |
Secretkey | String |
| S3的secretkey |
Endpoint | String | 默认为亚马逊地址 |
|
Proxyhost | String |
| 代理地址 |
Proxyport | Int |
| 代理端口 |
第二级workstorage,格式如下
<workstage name="<name>" ></workstage>
属性 | 类型 | 默认值 | 备注 |
Name | String |
| 名字,随便取 |
对应使用work参数,格式如下
<work name="main" type="normal" workers="128" interval="5" division="none" runtime="60" rampup="0" rampdown="0" totalOps="0" totalBytes="0" afr=”200000” config="" > . . . </work>
属性 | 类型 | 默认值 | 备注 |
Name | String |
| 名字,随便取 |
Type | String | “normal” | 工作类型,下面有介绍 |
Workers | Int |
| 并发工作数 |
Interval | Int | 5 | 间隔时间 |
Division | Str | “none” | 划分数据方式,为container时,通过bucket划分数据,为ojbect,以对像数据划分数据,”none”时,所以的bucket都 有ojbect数据 |
Runtime | Int | 0 | 运行时长 |
Rampup | Int | 0 | 多长时间启动完所有的压力 |
Rampdown | Int | 0 | 结束数,不能与runtime同时配 |
totalOps | Int | 0 | 操作数 |
totalBytes | Int | 0 | 多大bytes将传输 |
Driver | Str |
| 哪个driver将执行工作,默认的话,所有的drivers将参与工作,平分 |
Afr | Int | 200,000 – normal 0 – special work | 可接受错误速率,毫秒级别 |
Work type支持
init(创建bucket)
格式<work type=”init” workers=”4” config=”containers=r(1,100)” />
参数 | 类型 | 默认值 | 说明 |
Containers | String |
| Bucket选项表达式,比如c(1),r(1,100) |
Cprefix | String | Mycontainers_ | Bucket前缀 |
Csuffix | String | <null> | 后缀 |
prepare(在bucket中插入特定的对像)
格式
<work type=”perpare” work=”4” config=”containers-=r(1,10);objects=r(1,100);sizes=c(64)KB”/>
参数 | 类型 | 默认值 | 说明 |
Containers | String |
| Bucket选项表达式,比如c(1),r(1,100) |
Cprefix | String | Mycontainers_ | Bucket前缀 |
Csuffix | String | <null> | 后缀 |
Ojbects | String |
| Object选择表达式,如c(1),u(1,100) |
Oprefix | String | Myobjects_ | 对像前缀 |
Osuffix | String | <null> | 对像后缀 |
Sizes | String |
| 大小,单位可以为(B/KB/MG/GB) |
Chuncked | Boolean | False | 校验上传的数据 |
Content | String | “random”(默认) “zero” | 上传数据内容,默认为随机字符号 |
Createcontainer | Boolean | False | 如果bucket不存在就创建对赢的bucket |
hashCheck | Boolean | False | Hash检查 |
Cleanup(删除文件)
格式:<work type=”cleanup” workers=”4” config=”containers=r(1,5)”;objects=r(1,100)” />
参数 | 类型 | 默认值 | 说明 |
Containers | String |
| Bucket选项表达式,比如c(1),r(1,100) |
Cprefix | String | Mycontainers_ | Bucket前缀 |
Csuffix | String | <null> | 后缀 |
Ojbects | String |
| Object选择表达式,如c(1),u(1,100) |
Oprefix | String | Myobjects_ | 对像前缀 |
Osuffix | String | <null> | 对像后缀 |
Deletecontainer | Boolean | False | 存在相关的bucket则删除bucket |
Dispolse(删除bucket)
格式 <work type=”dispose” workers=”4” config=”containers=r(1,100)” />
参数 | 类型 | 默认值 | 说明 |
Containers | String |
| Bucket选项表达式,比如c(1),r(1,100) |
Cprefix | String | Mycontainers_ | Bucket前缀 |
Csuffix | String | <null> | 后缀 |
Delay(延迟)
用的少,不写了
Operation支持:
格式<operation type=”read|write|delete” ratio=”<1-100> config=”<key>=<value>;….” />
参数 | 类型 | 默认值 | 说明 |
Type | String |
| 操作类型,只有read write delete list |
Ratio | Int |
| 比例 |
Division | Int |
|
|
Config | String |
| 参数列表 |
read
格式<operation type=”read” ratio=”79” config=”containers=c(1);objects=u(1,100)” />
参数 | 类型 | 默认值 | 说明 |
Containers | String |
| Bucket选项表达式,比如c(1),r(1,100) |
Cprefix | String | Mycontainers_ | Bucket前缀 |
Csuffix | String | <null> | 后缀 |
Ojbects | String |
| 对像表达式如u(1,100) |
Oprefix | String | Myobjects_ | 对像前缀 |
Osuffix | String | <null> | 对像后缀 |
Hascheck | Boolean | False | 是否校验 |
write
格式:
<operation type=”write” ratio=”20” config=”containers=c(2);objects=u(1,10);size=c(2)MB”/>
参数 | 类型 | 默认值 | 说明 |
Containers | String |
| Bucket选项表达式,比如c(1),r(1,100) |
Cprefix | String | Mycontainers_ | Bucket前缀 |
Csuffix | String | <null> | 后缀 |
objects | String |
| 对像表达式如u(1,100) |
Oprefix | String | Myobjects_ | 对像前缀 |
Osuffix | String | <null> | 对像后缀 |
Sizes | String |
| 大小 |
Chunked | Boolean | False | 上传数据是否分片 |
Content | String | “radom”(默认值) “zero” | 默认是随机字符填充 |
Hascheck | Boolean | False | 是否校验 |
filewrite(文件上传)
格式:
<operation type=”filewrite” ratio=”20” config=”containers=c(2);fileselection=s;files=/tmp”/>
参数 | 类型 | 默认值 | 说明 |
Containers | String |
| Bucket选项表达式,比如c(1),r(1,100) |
Cprefix | String | Mycontainers_ | Bucket前缀 |
Csuffix | String | <null> | 后缀 |
Fileselection | String |
| 上传文件选择方式,如s |
Files | String |
| 目录 |
Chunked | Boolean | False | 上传数据是否分片 |
Hascheck | Boolean | False | 是否校验 |
delete
格式<operation type=”delete” ratio=”10” config=”containers=c(2);ojbects=u(1,100)” />
参数 | 类型 | 默认值 | 说明 |
Containers | String |
| Bucket选项表达式,比如c(1),r(1,100) |
Cprefix | String | Mycontainers_ | Bucket前缀 |
Csuffix | String | <null> | 后缀 |
objects | String |
| 对像表达式如u(1,100) |
Oprefix | String | Myobjects_ | 对像前缀 |
Osuffix | String | <null> | 对像后缀 |
|
|
|
|
list(用的少)
在填写参数时,还需要注意各种选择器的使用,如下
Expression | 格式 | 备注 |
Constant(不变的) | C(number) | 固定在一个数值 |
Uniform(随机) | U(min,max) | 从[min,max]中随机选择一个数 |
Range | R(min,max) | 同python里的range函数 更常用在(init,prepare,cleanup,dispose)里,不建议用在operation |
sequential | S(min,max) | 也是增加函数,常用于operation操作中 |
Histogram | H(min1|max1|weight1,…..) | 用在文件大小的不同比重中,实际使用少,不解释 |
常见的xml:
初始化bucket,将会创建二个bucket
<?xml version="1.0" encoding="UTF-8" ?> - <workload name="initBucket" description="sample benchmark for s3"> <storage type="s3" config="accesskey=V02TU7BTTHYSVINSRB7P;secretkey=b2u6ZgiNVlnfsDUpBigEbZKX9Na7kvM7UWEMrtPN;endpoint=http://xxx.xxx.xxx/" /> - <workflow> - <workstage name="init_create_bucket"> <work type="init" workers="1" config="cprefix=test;containers=r(1,2)" /> </workstage> </workflow> </workload>
上传特定大小的文件
在test1 bucket中上传100个4M的文件,并发25
<?xml version="1.0" encoding="UTF-8" ?> - <workload name="put-100Workers-4MB" description="sample benchmark for s3"> <storage type="s3" config="accesskey=V02TU7BTTHYSVINSRB7P;secretkey=b2u6ZgiNVlnfsDUpBigEbZKX9Na7kvM7UWEMrtPN;endpoint=http://xxx.xxx.xxx.xxx/" /> - <workflow> - <workstage name="put 4MB data with 100 workers"> - <work name="Put64KBData1" workers="25" totalOps="200" driver="sv40"> <operation type="write" ratio="100" config="cprefix=test;oprefix=100wks_64k;containers=c(1);objects=s(1,100);sizes=c(4)MB" /> </work> </workstage> </workflow> </workload>
读写1:1
<?xml version="1.0" encoding="UTF-8" ?> - <workload name="read&write" description="sample benchmark for s3"> <storage type="s3" config="accesskey=7FRWOW451AM5N1BDGWG6;secretkey=Xb9YEC5ia4KbCR1M7fZgR67RFXi1ARPrOfxa9Bjx;endpoint=http://xxx.xxx.xx.xx/" /> - <workflow> - <workstage name="read &write"> - <work name="read write" workers="25" totalOps="100"> <operation type="write" ratio="50" config="cprefix=test;oprefix=100wks_64k;containers=c(1);objects=s(1,10);sizes=c(50)KB" /> <operation type="read" ratio="50" config="cprefix=test-;oprefix=100wks_64kr;containers=c(1);objects=s(1,10);sizes=c(50)KB" /> </work> </workstage> </workflow> </workload>