【COSBench系列】1. COSBench认识、使用、结果分析

置顶 已于 2022-09-30 13:38:57 修改
阅读量4.2k 收藏 16
点赞数 5
分类专栏： COSBench系列 文章标签： cosbench s3 对象存储 性能测试 性能
于 2022-09-30 11:11:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33704587/article/details/127120141
版权

0. 前言

从今天起，咱们来共同学习探讨一下 ”COSBench“ 这个工具。

本系列总共分为下面几大部分：

  1. COSBench 认识、使用、结果分析
  2. COSBench 开发环境配置
  3. COSBench 源码分析（主要是cosbench-s3）
  4. COSBench 开发一个适配器

现在咱们开始第一部分。

1. 介绍

随着云时代的到来，公有云、私有云、混合云等快速进入到大家的视野，随着数据量指数级增长，数据存储成了重中之重。对象存储结合了块存储的速度和文件存储的容量，应对海量数据，它更加游刃有余。现在各厂的存储产品除了自研，其他基本都是基于Ceph或Minio等开源方案进行开发。当我们开发出了一款存储产品，很大一块的宣传就是它的性能如何如何，那么我们怎么来衡量呢？那么COSBench则是衡量对象存储性能的其中一款测试工具。

COSBench 是 Intel团队基于 Java语言开发，衡量云对象存储服务性能的基准测试工具，全称是Cloud Object Storage Bench。同所有的性能测试工具一样，COSBench 也分控制台和发起请求的driver，且driver可以分布式部署。可以支持swift、s3、Openstack等接口，SineIO团队基于cosbench-openio版本做了新的开发，自定义了基于S3协议的新适配器（sio、gdas），更加贴合自研对象存储产品。这两个新适配器新增了功能与优化（比如分段上传、列出对象逻辑优化、SDK版本升级等等），大家可以通过地址进行下载和试用（https://github.com/sine-io/cosbench-sineio.git）。

COSBench 支持自定义适配器，这一点给了它非常优秀的扩展性和适配性，为它成为对象存储协议通用性能基准测试工具打好了坚实的基础。

2. 架构

下图很好的诠释了CosBench架构：
cosbench架构图
CosBench 通过controller 加载自定义的压力模型配置文件（xxx.xml），并分发压力到各个driver上，由driver对底层存储服务施加压力，达到性能压测的目的。

drivers 采用分布式部署，多个 driver 在压力服务器上为多个Java进程，每个driver会多线程并发请求（在CosBench中为workers数）。

说几点我的经验，供大家参考：

  • a. controller启动一个即可，这个是共识，就不说了
  • b. drivers分布于各个压力节点上，每个节点我会启动多个drivers（我一般启动2个，最多的时候启动到4个）
  • c. 压测配置文件中，每个driver 我一般会分配50个workers
  • d. 压测机的CPU（比如：48核心）/内存（比如：64GB）最好大一些，OS盘最好是SSD
  • e. 压测之前，要测试压力机与存储服务器间的网络是否有瓶颈（我一般用iperf3，记得双向都打一下）
  • f. 压测之前，建议用fio这类的压测工具打一下盘，看一下raid卡等硬件有没有瓶颈（直接压多个硬盘就行）
  • g. 最后一点是底层存储的性能估算，我一般用的估算公式是：单个存储服务器的硬盘个数*单个硬盘的带宽 * 0.7

举例：底层存储为3节点，每个节点的数据池含HDD 36块，假设每块HDD的写速度为150MB/s，那写入的带宽估算公式为：36*150*0.7=3780MB/s

当然，这只是理论估算，一般底层存储无法全部利用硬件的性能。像HDD，一般读写平均带宽在80MB/s就不错了（个人见解），所以大家要根据实际情况去印证自己的估算，逐渐纠偏。

3. 部署

了解了工具是什么，干什么用的，那接下来看看它到底怎么用。

3.0 压力机规划
节点名称启动服务角色
压力机1controller * 1drivers *2 或 4主控机压力机
压力机2drivers *2 或 4压力机
压力机3drivers *2 或 4压力机
3.1 部署 — 非容器化方式
# CentOS 7.7 or 7.9 操作系统

# 关闭防火墙或者防火墙打开19088 19089 18088 18089端口，我这里直接关闭防火墙
systemctl stop firewalld

# 安装依赖包
yum install nmap-ncat curl wget vim -y

# 安装openjdk或者自己安装java环境，我这里直接安装openjdk
yum install java-1.8.0-openjdk -y
# 这里说明一下，建议用1.8及以上的java，因为之前的版本会存在bug，可能会导致测试不准确或者程序异常等问题。

# 清除环境变量
unset http_proxy
# 下载部署包后解压进行部署（三个压力节点均下载和执行）
wget https://github.com/sine-io/cosbench-sineio/releases/download/0.4.7.8/cosbench-0.4.7.8-sineio.tar.gz
tar -xf cosbench-0.4.7.8-sineio.tar.gz
cd cosbench-0.4.7.8-sineio

# 在压力机1、2、3上均启动2个driver
sh start-driver.sh 2

# 在压力机1上启动controller
vim conf/controller.conf

注意：

  1. drivers的数量要与下面提供的driver数量保持一致
  2. 各个driver的名字不能重复
[controller]
drivers = 6
log_level = INFO
log_file = log/system.log
archive_dir = archive

[driver1]
name = driver1
url = http://压力机1IP:18088/driver

[driver2]
name = driver2
url = http://压力机1IP:18188/driver

[driver3]
name = driver3
url = http://压力机2IP:18288/driver

[driver4]
name = driver4
url = http://压力机2IP:18088/driver

[driver5]
name = driver5
url = http://压力机3IP:18188/driver

[driver6]
name = driver6
url = http://压力机3IP:18288/driver

# 保存退出

# 启动controller
sh start-controller.sh

# 浏览器打开CosBench网站即可使用
http://压力机1IP:19088/controller/index.html
3.2 部署 — docker-compose方式

我们参照cosbench-openio（在此对openio的开发人员表示感谢）编写并制作了cosbench-sineio的docker镜像（分别基于ubuntu16.0.4，和alpine），大家可以使用docker启动CosBench。

后续还会增加docker swarm、K8S的方式，敬请期待。

前提：三台压力机上均部署好docker、docker-compose环境

# docker-compose方式
# 参考GitHub地址：https://github.com/sine-io/fav-dockerfiles.git

# 压力机2和3上 启动driver
cd /opt/
mkdir cosbench-sineio && cd cosbench-sineio

# 编辑docker-compose文件，也可以直接下载后进行编辑
vim drivers.yml

注：可以自行更换为alpine版本

version: '3.9'

services:
  driver1:
    image: "sineio/cosbench-sineio:0.4.7.8-ubuntu"
    environment:
      CONTROLLER: false
      DRIVER: true
      DRIVER_PORT: 18088
      COSBENCH_PLUGINS: "SIO,GDAS,S3"
    volumes:
      - /data/cosbench-driver1/archive/:/cosbench/archive
      - /data/cosbench-driver1/log/:/cosbench/log
    healthcheck:
      test: ["CMD", "curl", "-f", "http://127.0.0.1:18088/driver"]
      interval: 30s
      timeout: 20s
      retries: 3
    restart: unless-stopped
    tty: true
    stdin_open: true
    network_mode: "host"

  driver2:
    image: "sineio/cosbench-sineio:0.4.7.8-ubuntu"
    environment:
      CONTROLLER: false
      DRIVER: true
      DRIVER_PORT: 18188
      COSBENCH_PLUGINS: "SIO,GDAS,S3"
    volumes:
      - /data/cosbench-driver2/archive/:/cosbench/archive
      - /data/cosbench-driver2/log/:/cosbench/log
    healthcheck:
      test: ["CMD", "curl", "-f", "http://127.0.0.1:18188/driver"]
      interval: 30s
      timeout: 20s
      retries: 3
    restart: unless-stopped
    tty: true
    stdin_open: true
    network_mode: "host"

# 保存退出，启动drivers（请确保端口18088、18188、18089、18189未被占用）
docker-compose up -d

# 在 压力机1 上启动2个drivers 和 1个controller
cd /opt/
mkdir cosbench-sineio && cd cosbench-sineio
vim all.yml

version: '3.9'

services:
  driver1:
    image: "sineio/cosbench-sineio:0.4.7.8-ubuntu"
    environment:
      CONTROLLER: false
      DRIVER: true
      DRIVER_PORT: 18088
      COSBENCH_PLUGINS: "SIO,GDAS,S3"
    volumes:
      - /data/cosbench-driver1/archive/:/cosbench/archive
      - /data/cosbench-driver1/log/:/cosbench/log
    healthcheck:
      test: ["CMD", "curl", "-f", "http://127.0.0.1:18088/driver"]
      interval: 30s
      timeout: 20s
      retries: 3
    restart: unless-stopped
    tty: true
    stdin_open: true
    network_mode: "host"

  driver2:
    image: "sineio/cosbench-sineio:0.4.7.8-ubuntu"
    environment:
      CONTROLLER: false
      DRIVER: true
      DRIVER_PORT: 18188
      COSBENCH_PLUGINS: "SIO,GDAS,S3"
    volumes:
      - /data/cosbench-driver2/archive/:/cosbench/archive
      - /data/cosbench-driver2/log/:/cosbench/log
    healthcheck:
      test: ["CMD", "curl", "-f", "http://127.0.0.1:18188/driver"]
      interval: 30s
      timeout: 20s
      retries: 3
    restart: unless-stopped
    tty: true
    stdin_open: true
    network_mode: "host"

  controller:
    image: "sineio/cosbench-sineio:0.4.7.8-ubuntu"
    environment:
      CONTROLLER: true
      DRIVER: false
      DRIVERS: "http://压力机1IP:18088/driver,http://压力机1IP:18188/driver,http://压力机2IP:18088/driver,http://压力机2IP:18188/driver,http://压力机3IP:18088/driver,http://压力机3IP:18188/driver,"
    depends_on:
      driver1:
        condition: service_started
      driver2:
        condition: service_started
    volumes:
      - /data/cosbench-controller/archive/:/cosbench/archive
      - /data/cosbench-controller/log/:/cosbench/log
    healthcheck:
      test: ["CMD", "curl", "-f", "http://127.0.0.1:19088/controller/index.html"]
      interval: 60s
      timeout: 20s
      retries: 3
    restart: unless-stopped
    tty: true
    stdin_open: true
    network_mode: "host"

注：如有问题，欢迎提PR和issue至github上：

https://github.com/sine-io/cosbench-sineio.git

https://github.com/sine-io/fav-dockerfiles.git

4. 使用

到这里，软件已经部署好了，那么接下来，我们来看一下怎么用。

注：压缩包解压完毕后，在解压目录的conf文件夹下有示例，供大家参考。

示例1：sio-config-sample.xml

示例1参考地址：https://github.com/sine-io/cosbench-sineio/blob/main/release/conf/sio-config-sample.xml

示例2：gdas-config-sample.xml

示例2参考地址：https://github.com/sine-io/cosbench-sineio/blob/main/release/conf/gdas-config-sample.xml

4.1 配置文件讲解

下面以sio-config-sample.xml讲解一下：

<?xml version="1.0" encoding="UTF-8" ?>
<!-- workload处于最外层，包裹了整个性能测试过程 -->
<workload name="xml-sample" description="sample benchmark for ehualu s3">
  
  <!-- workflow 定义了整个性能工作流，它含有1个或多个workstage -->
  <workflow>
    <!-- New feature to sio and siov2 -->
	<!-- mprepare, multipart upload object -->
    <!-- workstage定义了一个测试阶段，比如此阶段我们只做写入（通过type来修改）的性能测试-->
	<workstage name="mprepare example">
      <!-- storage定义了存储类型，包含许多类型，如果是S3协议存储，可以sio或s3等等，通过type进行指定即可 -->
      <!-- config里面配置了连接此存储的AK/SK，endpoint等信息，不同存储的可配置参数不同，sio的可参考下面配置 -->
	  <storage type="sio" config="accesskey=<accesskey>;secretkey=<scretkey>;proxyhost=<proxyhost>;proxyport=<proxyport>;endpoint=<endpoint>;path_style_access=true" />
      <!-- work定义了负载，其中type定义了负载类型，是写入/读取等等，workers定义了并发数，config定义了负载的一些参数，下面来一一说明 -->
      <!-- cprefix为存储桶的前缀，containers是紧跟前缀的字符，如果我创建一个存储桶名字为test1，那么cprefix为test，containers为r(1,1) -->
      <!-- 其中r(1,1)中的r是选择器，cosbench包括多种选择器，不同的workstage可是使用的选择器也不同，大家可以参考COSBenchUserGuide.pdf -->
      <!-- objects定义了对象名字从1到10，如果不加oprefix的话，那前缀为默认值，oprefix建议添加 -->
      <!-- sizes定义了文件粒度，可以是单个粒度，也可以是不同粒度配比 -->
      <work type="mprepare" workers="1" config="cprefix=s3testqwer;containers=r(1,2);objects=r(1,10);sizes=c(64)KB" />
    </workstage>
	<!-- end -->
	
	<!-- mwrite, multipart upload object -->
    <workstage name="mwrite example">
      <work name="mwrite test" workers="8" runtime="30">
	    <!-- part_size: default is 5MiB, must be set >= 5MiB -->
	    <storage type="sio" config="accesskey=<accesskey>;secretkey=<scretkey>;proxyhost=<proxyhost>;proxyport=<proxyport>;endpoint=<endpoint>;path_style_access=true;part_size=5242880" />
        <operation type="mwrite" ratio="100" config="cprefix=s3testqwer;containers=u(1,2);objects=u(11,20);sizes=c(64)KB" />
      </work>
    </workstage>
	<!-- end -->
	
	<!-- restore, restore object -->
	<workstage name="restore object example">
      <work name="restore test" workers="8" runtime="30">
	    <!-- restore_days: default is 1 -->
	    <storage type="sio" config="accesskey=<accesskey>;secretkey=<scretkey>;proxyhost=<proxyhost>;proxyport=<proxyport>;endpoint=<endpoint>;path_style_access=true;restore_days=1" />
        <operation type="restore" ratio="100" config="cprefix=s3testqwer;containers=u(1,2);objects=u(11,20);sizes=c(64)KB" />
      </work>
    </workstage>
	<!-- end -->
	
	<!-- storage_class, default is STANDARD -->
	<workstage name="set object's storage_class">
      <work name="storage class test" workers="8" runtime="30">
	  <!-- storage_class must exist in your storage -->
	    <storage type="sio" config="accesskey=<accesskey>;secretkey=<scretkey>;proxyhost=<proxyhost>;proxyport=<proxyport>;endpoint=<endpoint>;path_style_access=true;storage_class=GLACIER" />
		<!-- write, mwrite -->
        <operation type="write" ratio="100" config="cprefix=s3testqwer;containers=u(1,2);objects=u(11,20);sizes=c(64)KB" />
      </work>
    </workstage>
	<!-- end -->
	
	<!-- no_verify_ssl, default is false -->
	<workstage name="disable verify ssl example">
      <work name="https test" workers="8" runtime="30">
	    <storage type="sio" config="accesskey=<accesskey>;secretkey=<scretkey>;proxyhost=<proxyhost>;proxyport=<proxyport>;endpoint=<endpoint>;path_style_access=true;no_verify_ssl=true" />
		<!-- write, read, etc. -->
        <operation type="head" ratio="100" config="cprefix=s3testqwer;containers=u(1,2);objects=u(11,20);sizes=c(64)KB" />
      </work>
    </workstage>
	<!-- end -->
	
	
	<!-- GiB, MiB, KiB, etc. 2^n, not 10^n -->
	<workstage name="object size is 1024 based">
      <work name="object size test" workers="8" runtime="30">
	    <storage type="sio" config="accesskey=<accesskey>;secretkey=<scretkey>;proxyhost=<proxyhost>;proxyport=<proxyport>;endpoint=<endpoint>;path_style_access=true;no_verify_ssl=true" />
		<!-- write, mwrite, both ok. -->
        <operation type="write" ratio="100" config="cprefix=s3testqwer;containers=u(1,2);objects=u(11,20);sizes=c(64)KiB" />
      </work>
    </workstage>
	<!-- end -->
	
	
	<!-- aws_region: just for siov2 -->
	<workstage name="set aws_region example">
      <work name="https test" workers="8" runtime="30">
	    <!-- aws_region: default is us-east-1. Normally, there is no need to set this parameter. -->
	    <storage type="siov2" config="accesskey=<accesskey>;secretkey=<scretkey>;proxyhost=<proxyhost>;proxyport=<proxyport>;endpoint=<endpoint>;path_style_access=true;aws_region=us-east-1" />
		<!-- write, read, etc. -->
        <operation type="head" ratio="100" config="cprefix=s3testqwer;containers=u(1,2);objects=u(11,20);sizes=c(64)KiB" />
      </work>
    </workstage>
	<!-- end -->

  </workflow>
  
  
  <!-- Same to s3, storage type: gdas or sio or s3, both ok. -->
  <!--
  <storage type="s3" config="accesskey=<accesskey>;secretkey=<scretkey>;proxyhost=<proxyhost>;proxyport=<proxyport>;endpoint=<endpoint>;path_style_access=true" />
  
  <workflow>

    <workstage name="init">
      <work type="init" workers="1" config="cprefix=s3testqwer;containers=r(1,2)" />
    </workstage>

    <workstage name="prepare">
      <work type="prepare" workers="1" config="cprefix=s3testqwer;containers=r(1,2);objects=r(1,10);sizes=c(64)KB" />
    </workstage>
	
    <workstage name="main">
      <work name="main" workers="8" runtime="30">
        <operation type="read" ratio="80" config="cprefix=s3testqwer;containers=u(1,2);objects=u(1,10)" />
        <operation type="write" ratio="20" config="cprefix=s3testqwer;containers=u(1,2);objects=u(11,20);sizes=c(64)KB" />
      </work>
    </workstage>

    <workstage name="cleanup">
      <work type="cleanup" workers="1" config="cprefix=s3testqwer;containers=r(1,2);objects=r(1,20)" />
    </workstage>

    <workstage name="dispose">
      <work type="dispose" workers="1" config="cprefix=s3testqwer;containers=r(1,2)" />
    </workstage>

  </workflow>
  -->
</workload>

注意几个特殊的workstage：

  1. init一般用于创建存储桶
  2. prepare一般用于创建文件，供后续的读操作使用
  3. cleanup一般用于后续的清理工作（删对象）
  4. dispose一般用于清理工作（删桶）

我一般不进行cleanup和dispose，因为存储中有一定数据量后，查看性能是否下降也是一个测试方面，大家可自行选择。

4.2 提交测试
方法一、使用controller web提交，这是我常用的方法，因为便于观察和排错
a. 将编辑好的xml文件保存到电脑的某个目录下

b. 访问 http://你的IP地址:19088/controller/index.html

c. 点击Submit new workloads

d. 在Workload config那里选择文件后进行submit即可
方法二、使用cli提交任务（我不常用）
cd cosbench-0.4.7.8-sineio

sh cli.sh submit xxx.xml anonymous:cosbench@你的IP:19088

之后我们可以去web页面上查看提交的任务

注意：

  1. 我们可以提交多个任务（即多个xml文件），它会自动加入到任务队列中，我们还可以对任务进行排序。

5. 结果分析

当我们提交完测试后，可以在index页面的Active Workloads中找到已提交的任务，这里可以查看正在运行任务的详细信息。我们点击View details后可以进入任务详情页面。

index页面的解释

index页面

关于workload的页面

workload页面

这里讲一下General Report这一栏，着重关注下面几个值：

Avg-ResTime：平均时延，它为存储服务处理请求的时间，包含数据传输时间，一般小文件（比如KB级别）我们也会关注这个值，此值越低，小文件的IOPS越好

Avg-ProcTime：平均处理时间，它为存储服务处理请求的时间，不包含数据传输时间

Throughput：吞吐量，当我们的文件粒度为1M及以下时，着重关注这个值，描述了当前文件粒度下的读写等性能（IOPS）

Bandwidth：带宽，当我们的文件粒度为1M以上时，着重关注这个值，描述了当前文件粒度下的读写等性能（MB/s等单位）

Succ-Ratio：请求成功率，这里一般都要求100%

这里说一下IOPS这个单位，防止有人误会。IOPS一般用于块存储，在我测试对象存储性能的过程中，给其他同事描述的时候，大家普遍接受IOPS这个单位，我跟其他存储厂商同事交流过，他们也用这个表示过。所以我就直接拿来用于代表小文件的性能，大家一看基本就能明白。如果您不喜欢这么表示，可以使用OP/s

特别提醒：

1. 测试过程中要到压力机和存储服务器中看一下资源情况
我会用top查看CPU，内存等资源情况
用iostat查看硬盘情况
用sar查看网络带宽情况

2. 有条件的可以搭建一套Prometheus + Grafana + node-exporter 进行资源监控

3. 进行监控的目的有几个，一要确认咱给的压力是不是合适、二要看数据到底有没有落盘、三是监控与web页面的值进行对比
结果分析

当测试执行完毕后，我们要进行结果收集与分析，下面依次来讲一下我的做法。

结果收集

我们进行性能测试，不可能使用1个driver，当我们使用多个drivers的时候，在General Report处会有多行值，我会把这个值拷贝到Excel中进行处理。
Excel结果处理

  1. 在我们拷贝到Excel中之前，首先我们应该关注Succ-Ratio，全是100%，理论上代表全部成功了。
  2. 保险起见，我们可以到controller节点的cosbench-0.4.7.8-sineio目录下，去查看workload.log中是否有WARN或ERROR关键字 — 一般大文件大并发（512MB及以上）我会做此步骤。日志路径为：~/cosbench-0.4.7.8-sineio/archive/w9-write 3050-16K-22320/workload.log

​ w9-write 3050-16K-22320为你运行结束的这个workload

  1. 以大文件举例：选中Bandwidth这几行（红框），在Excel中进行 数据 —> 分列，然后进行求和即可

当我们得出性能总值之后，要进行分析，咱们在分析章节分解。

分析改进

性能测试是一个“长期”的过程，我一般从以下几点来进行结果分析：

a. 当我们以某种并发测试出一组结果之后，我会首先与网络性能、硬盘估算性能、软件上个版本性能等进行对比

​ a.1 如果测出来的性能值进行对比后，相差过大，我会进行复测（增大/减少并发量，增大数据量等）

​ a.2 如果经过对比后，此组值可用，那么我会结果整理完毕后，与存储同事进行沟通，如果达成一致则此值保留。如果有不同意见，会进行分析改进后复测。

b. 我有些时候会增加一些并发，查看Avg-ResTime增长和Throughput/Bandwidth增长是不是明显

​ b.1 当Avg-ResTime增长很明显，但是Throughput/Bandwidth增长不明显，那么我会选取Avg-ResTime相对比较好时的性能值。

​ b.2 当Throughput/Bandwidth增长明显（我个人建议：≥5%增长率）的时候，我会继续施加压力

c. 想到其他的，再补充。

6. 结尾

至此，这一篇文章就结束了，我们从What，When，Why，How几方面进行了讲解。此工具使用起来稍微有点复杂，尤其是手动定义负载那块（编写xml文件），但是熟能生巧，大家多用多看多分析多总结，也会很快上手。

本篇想要分享的就这么多，咱们下篇文章再见，谢谢。

SineIO
关注
  • 5
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
对象存储测试工具-COSBench-0.4.2.c4.tar.gz
08-14
COSBench 是衡量云对象存储服务性能的基准测试工具。 对象存储是与传统文件系统（例如 NFS）或块设备系统（例如，iSCSI）不同的新兴技术。 Amazon S3 和 Openstack * swift 是着名的对象存储解决方案。 COSBench 现支持： OpenStack* Swift、Amazon* S3、Amplidata v2.3，2.5 和 3.1、Scality*、Ceph、CDMI、Google* Cloud Storage、自定义适配器 （这个版本是稳定版本，安装好java和nc即可直接使用）
COS 压测指南
隔壁老瓦的专栏
05-04 982
COSBench 是一款由 Intel 开源，用于对象存储的压测工具。腾讯云对象存储（Cloud Object Storage，COS）作为兼容 S3 协议的对象存储系统，可使用该工具进行读写性能压测。
Cosbench对象存储测试
kobe24fgy的博客
07-05 1364
1、介绍 cosbench - Cloud Object Storage Beachmark，是Intel开发的一个对象存储基准性能测试工具，支持OpenStack* Swift, Amazon* S3, Amplidata v2.3, 2.5 and 3.1, Scality*, Ceph, CDMI,Google* Cloud Storage, Aliyun OSS对象存储。 组件： cosbench可以联机测试，主要有以下两个关键组件： • driver cosbench负载生成器，主要负责工作负载生
2020-08-08 cosbench工具使用方法
昨天今天下雨天的博客
08-09 1331
一.Cosbench安装 cosbench是intel开源的针对对象存储开发的测试工具 二.Cosbench安装** 运行环境: 这里我们的系统是Centos7.6 依赖软件: JDK nmap-ncat 安装JDK [root@k8s-01 ~]# yum install java nmap-ncat 通过wget下载,或者直接通过浏览器输入下面的链接下载 [root@k8s-01 ~]# w...
Ceph测试系列（二）：ceph性能测试Cosbench工具详细配置（4 of 4）
Yannick Jiang 的专栏
06-19 4151
转载：cosbench使用方法 前言 cosbench的功能很强大，但是配置起来可能就有点不是太清楚怎么配置了，本篇将梳理一下这个测试的配置过程，以及一些测试注意项目，以免无法完成自己配置模型的情况 安装 cosbench模式是一个控制端控制几个driver向后端rgw发起请求 下载最新版本 https://github.com/intel-cloud/cosbench/archiv...
cosbench详细安装及使用说明
热门推荐
Be_Nice的博客
08-26 1万+
一、前言 参考资料：https://blog.csdn.net/QTM_Gitee/article/details/100067724https://github.com/intel-cloud/cosbench/blob/master/COSBenchUserGuide.pdfCOSBench测Ceph对象存储：那些网上找不到的细节 1、介绍 cosbench - Cloud Object Storage Beachmark，是Intel开发的一个对象存储基准性能测试工具，支持OpenStack
cosbench性能测试
weixin_54413274的博客
12-19 1068
表示执行多少次操作，比如当该值为10，object=(1,00)，那么本来是要创建100个对象，加上totalOps后，就要循环从1-100创建10次，总共创建1000个文件，但是实际上创建出的文件数还是只有100个，像覆盖性创建一样。组件：driver cosbench负载生成器，主要负责工作负载生成，发布针对云对象存储的操作和收集性能统计信息，可以通过http://{driver-ip}:18088/controller地址访问。： 配置bucket的前缀后缀信息。
Linux中对象存储压测工具-cosbench安装配置使用详解
97运维的博客
11-02 8221
ceph-rgw等对象存储性能测试/压测工具，cosbench工具安装使用配置详解；cosbench配置文件详解及执行结果参数分析
cosbench使用文档
ff_gogo的博客
01-29 6901
描述 COSBench是Intel团队基于java开发，用于存储的测试工具，全称是Cloud object Storage Bench； COSBench分控制台和发起请求的driver，driver可以分布式部署，可以支持swift、s3、Openstack等接口； 安装 下载：https://github.com/intel-cloud/cosbench 解压到任意目录，然后进入到对...
存储压测工具— — Cosbench教程
weixin_45565886的博客
11-21 445
存储压测工具— — Cosbench教程
COSBench 0.4.2.c4.zip
08-27
cosbench 0.4.2.c4 版本，从github下载时断时续，下了很长时间才下载下来
cosbench.tar
02-24
包含Read/Write配置文件，可以方便快捷的开始MinIO的性能测试
cosbench-driver_0.4.2.0.jar 定位问题包
08-31
COSBench 0.4.2.c4 版本的 cosbench-driver_0.4.2.0.jar包，定位问题用。可以保证cosbench 读操作一直运行到最后结束。
这是一个基于Objective-C语言的基础案例集。旨在用于给初学者快速了解Objective-C语言的语法。.zip
04-30
这是一个基于Objective-C语言的基础案例集。旨在用于给初学者快速了解Objective-C语言的语法。.zip
01 整理数据 _ 合并多数据，分析更有趣.ipynb
04-30
01 整理数据 _ 合并多数据，分析更有趣.ipynb
jsp140汽车测评推荐新闻管理系统ssh+mysql.zip
04-30
创业、工作、毕业、课程需要人群，可以参考使用，支持有偿远程部署，联系我，保证一定能跑起来
流程行业智能工厂总体设计方案qy.pptx
04-30
流程行业智能工厂总体设计方案qy.pptx
ModStartBlog现代化个人博客系统 v5.2.0源码.rar
最新发布
04-30
ModStartBlog现代化个人博客系统 v5.2.0源码.rarModStartBlog现代化个人博客系统 v5.2.0源码.rar
cosbench在windows上的配置
05-24
Cosbench是一个基于Amazon S3和OpenStack Swift的分布式对象存储性能测试工具，它的主要功能是模拟云存储环境下的负载情况，以测试存储系统的性能和可靠性。在Windows上配置Cosbench需要进行以下步骤： 1.安装Java环境 Cosbench需要Java环境支持，因此需要先安装Java。可以在Oracle官网下载Java安装包，然后按照提示进行安装即可。 2.下载Cosbench 可以在Cosbench官网下载最新版本的Cosbench，并解压到本地目录。 3.修改配置文件 在Cosbench的安装目录下，找到conf文件夹中的cosbench.conf文件，使用文本编辑器打开该文件，修改以下参数： ``` cosbench.controller.bind_addr=0.0.0.0 cosbench.driver.bind_addr=0.0.0.0 cosbench.storage.default_host=127.0.0.1 cosbench.storage.default_port=80 ``` 其中，cosbench.controller.bind_addr和cosbench.driver.bind_addr设置为0.0.0.0表示接受所有IP地址的请求，cosbench.storage.default_host设置为本地IP地址或者localhost，cosbench.storage.default_port设置为存储系统的端口号。 4.启动Cosbench 在命令行中进入Cosbench的bin目录，执行以下命令启动Cosbench： ``` ./cosbench.sh start ``` 启动成功后，在浏览器中访问http://localhost:19088即可打开Cosbench的Web界面。 5.创建测试任务 在Cosbench的Web界面中，可以创建测试任务并执行测试。具体操作可以参考Cosbench官方文档。 以上就是在Windows上配置Cosbench的步骤，希望对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值