Kafka常用API命令汇总

Kafka常用API命令汇总:

0、启动kafka集群

kafka-server-start.sh -d config/server.properties

1、列出集群里的所有主题。

$ kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --list

2、 创建一个叫作my-topic的主题,主题包含8分区,每个分区拥有两个副本。 kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --create --topic source_topic --replication-factor 3 --partitions 2

3、列出集群里所有主题的详细信息。 kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --describe

4、列出集群里特定主题的详细信息。 kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --describe --topic my-topic

5、删除一个叫作my-topic的主题。 kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --delete --topic my-topic

需要设置 delete.topic.enable 为true

6、列出旧版本的所有消费者群组。 kafka-consumer-groups.sh --zookeeper node01:2181,node02:2181,node03:2181 --list

7、列出新版本的所有消费者群组。 kafka-consumer-groups.sh --new-consumer --bootstrap-server node01:9092,node02:9092,node03:9092 --list

8、获取旧版本消费者群组testgroup的详细信息。 kafka-consumer-groups.sh --zookeeper node01:2181 --describe --group testgroup

9、获取新版本消费者群组console-consumer-87024的详细信息。 kafka-consumer-groups.sh --new-consumer --bootstrap-server node01:9092,node02:9092,node03:9092 --describe --group console-consumer-87024

10、查看某一个topic对应的消息数量。 kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list node01:9092 --topic B2CDATA_COLLECTION3 --time -1

11、查看log日志片段的内容,显示查看日志的内容。 kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log --print-data-log

12、控制台生产者:向主题 my-topic 生成两个消息。 kafka-console-producer.sh --broker-list node01:9092 --topic my-topic

13、控制台消费者:从主题 my-topic 获取消息。 kafka-console-consumer.sh --zookeeper node01:2181,node02:2181,node03:2181 --topic my-topic --from-beginning

 

server.properties 配置项

名称	说明	默认值	有效值	重要性
bootstrap.servers	kafka集群的broker-list，如：hadoop01:9092,hadoop02:9092	无		必选
acks	确保生产者可靠性设置，有三个选项：acks=0:不等待成功返回acks=1:等Leader写成功返回acks=all:等Leader和所有ISR中的Follower写成功返回,all也可以用-1代替	-1	0,1,-1,all
key.serializer	key的序列化器		ByteArraySerializerStringSerializer	必选
value.serializer	value的序列化器		ByteArraySerializerStringSerializer	必选
buffer.memory	Producer总体内存大小	33554432	不要超过物理内存，根据实际情况调整	建议必选
compression.type	压缩类型压缩最好用于批量处理，批量处理消息越多，压缩性能越好	无	none、gzip、snappy
retries	发送失败尝试重发次数	0
batch.size	每个partition的未发送消息大小	16384	根据实际情况调整	建议必选
client.id	附着在每个请求的后面，用于标识请求是从什么地方发送过来的
connections.max.idle.ms	连接空闲时间超过过久自动关闭（单位毫秒）	540000
linger.ms	数据在缓冲区中保留的时长,0表示立即发送为了减少网络耗时，需要设置这个值太大可能容易导致缓冲区满，阻塞消费者太小容易频繁请求服务端	0
max.block.ms	最大阻塞时长	60000
max.request.size	请求的最大字节数，该值要比batch.size大不建议去更改这个值，如果设置不好会导致程序不报错，但消息又没有发送成功	1048576
partitioner.class	分区类，可以自定义分区类，实现partitioner接口	默认是哈希值%partitions
receive.buffer.bytes	socket的接收缓存空间大小,当阅读数据时使用	32768
request.timeout.ms	等待请求响应的最大时间,超时则重发请求,超过重试次数将抛异常	3000
send.buffer.bytes	发送数据时的缓存空间大小	131072
timeout.ms	控制server等待来自followers的确认的最大时间	30000
max.in.flight.requests.per.connection	kafka可以在一个connection中发送多个请求，叫作一个flight,这样可以减少开销，但是如果产生错误，可能会造成数据的发送顺序改变。	5
metadata.fetch.timeout.ms	从ZK中获取元数据超时时间比如topic\host\partitions	60000
metadata.max.age.ms	即使没有任何partition leader 改变，强制更新metadata的时间间隔	300000
metric.reporters	类的列表，用于衡量指标。实现MetricReporter接口，将允许增加一些类，这些类在新的衡量指标产生时就会改变。JmxReporter总会包含用于注册JMX统计	none
metrics.num.samples	用于维护metrics的样本数	2
metrics.sample.window.ms	metrics系统维护可配置的样本数量，在一个可修正的window size。这项配置配置了窗口大小，例如。我们可能在30s的期间维护两个样本。当一个窗口推出后，我们会擦除并重写最老的窗口	30000
reconnect.backoff.ms	连接失败时，当我们重新连接时的等待时间。这避免了客户端反复重连	10
retry.backoff.ms	在试图重试失败的produce请求之前的等待时间。避免陷入发送-失败的死循环中	100