cosbench测试工具

一个衡量云对象存储服务性能的基准测试工具

一、安装cosbench
设备：10.237.29.226
yum install nc -y

分段下载
代码库：https://github.com/BodihTao/cosbench
修改后重新编译的安装包： http://s3.yyclouds.com/public/cosbench.zip
配置文件：
is_range_request=true;range_start=4096;range_end=10240;
controler上
cd /opt/0.4.2.c4/
修改conf/controller.conf
[controller]
drivers = 2
log_level = INFO
log_file = log/system.log
archive_dir = archive
[driver1]
name = driver1
url = http://10.237.29.226:18088/driver
name=driver2
url=http://10.237.29.227:18088/driver
启动sh start-controller.sh
http://10.237.29.226:19088/controller/

driver上
cd /opt/0.4.2.c4/
sh start-driver.sh 

二、cosbench脚本配置说明
https://blog.csdn.net/Micha_Lu/article/details/109228043

脚本检查
1.bucket名称
2.workers进程数
3.bucket，文件，写的块
containers=r(1,3);objects=r(1,1000000);sizes=c(4)KB
4.端口

三、使用过程中遇到的问题

【问题1】cosbench读的Succ-Ratio结果为非100%。写的100%
【解决方法】关闭MD5校验功能
参考Github-Issues#320，基于0.4.2.c4版本，读文件测试过程中会出现无法验证下载文件完整性错误（Unable to verify integrity of data download），导致读取测试任务中断（Terminate），故此处关闭S3的MD5校验功能
修改所有节点0.4.2.c4/cosbench-start.sh配置文件，在java后添加参数-Dcom.amazonaws.services.s3.disableGetObjectMD5Validation=true

【问题2】拷机总是terminated被结束掉，
【原因分析1】control的system.log日志中显示： time drift is still longer than tolerable time drift 300 mSec after 3 times of synchronization，时间不同步
由于controller与drivers之间的时间不同步引起的
https://www.cnblogs.com/awpatp/p/13588732.html
【原因分析2】control的system.log日志中显示：driver report error: HTTP 409 - no mission handler
时间跳变导致的错误
systemctl stop chronyd.service
【原因分析3】control出错信息：detected tasks [t2] have encountered errors
driver日志：
2022-04-18 09:12:54,336 [INFO] [NoneStorage] - performing PUT at /cosbench-write-64k8
2022-04-18 09:12:54,359 [ERROR] [AbstractOperator] - worker 2 fail to perform operation cosbench-write-64k8
com.intel.cosbench.api.storage.StorageException: com.amazonaws.services.s3.model.AmazonS3Exception: BAD-REQUEST-ERROR:Already 100 buckets (Service: Amazon S3; Status Code: 400; Error Code: BAD-REQUEST-ERROR:Already 100 buckets; Request ID: /cosbench-write-64k8/), S3 Extended Request ID: null