使用openmessaging-benchmark测试kafka

最新推荐文章于 2024-08-16 08:20:51 发布

cangchen@csdn

最新推荐文章于 2024-08-16 08:20:51 发布

阅读量2.3k

点赞数 2

分类专栏： kafka 文章标签： kafka linux 大数据

本文链接：https://blog.csdn.net/weixin_43172032/article/details/105562408

版权

kafka 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

openmessaging-benchmark使用笔记

一，介绍
二，安装
三，使用
- 不带kerberos的Kafka
- 带kerberos 的kafka

一，介绍

openmessaging-benchmark可以方便的对kafka等分布式消息系统进行测试。
参考官网：http://openmessaging.cloud/docs/benchmarks

二，安装

 git clone https://github.com/openmessaging/openmessaging-benchmark
 cd openmessaging-benchmark
 mvn install

如果插件无法下载可以在pom.xml文件中将相应的插件注释掉。

三，使用

不带kerberos的Kafka

修改driver-kafka/kafka.yaml 中的bootstrap.servers 值为自己的kafka地址即可。
执行命令启动任务：

bin/benchmark \
  --drivers driver-kafka/kafka.yaml \
  workloads/1-topic-16-partitions-1kb.yaml

带kerberos 的kafka

1, 修改bin/benchmark 文件，通过 Java -D 设置包含认证信息的jaas文件。
-Djava.security.auth.login.config=/opt/openmessaging-benchmark/ker/jaas.conf

if [ -d "./lib" ]; then
        CLASSPATH=$CLASSPATH:lib/*
else
    CLASSPATH=benchmark-framework/target/classes:`cat benchmark-framework/target/classpath.txt`
fi

JVM_MEM="-Xms4G -Xmx4G -XX:+UseG1GC"
JVM_GC_LOG=" -XX:+PrintGCDetails -XX:+PrintGCApplicationStoppedTime  -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=64m  -Xloggc:/dev/shm/benchmark-client-gc_
%p.log"

java -Djava.security.auth.login.config=/opt/openmessaging-benchmark/ker/jaas.conf -server -cp $CLASSPATH $JVM_MEM io.openmessaging.benchmark.Benchmark $*

2, 修改 driver-kafka/kafka.yaml 文件在其中加入kerberos相关配置。

name: Kafka_hdf
driverClass: io.openmessaging.benchmark.driver.kafka.KafkaBenchmarkDriver

# Kafka client-specific configuration
replicationFactor: 3

topicConfig: |
  min.insync.replicas=1

commonConfig: |
  bootstrap.servers=${broker_list}
  security.protocol=SASL_PLAINTEXT

producerConfig: |
  acks=all
  linger.ms=1
  batch.size=131072
  security.protocol=SASL_PLAINTEXT
  connections.max.idle.ms = 300000
consumerConfig: |
  auto.offset.reset=earliest
  enable.auto.commit=false
  security.protocol=SASL_PLAINTEXT