Kafka入门

最新推荐文章于 2023-07-10 19:12:40 发布

Geek_ymv

最新推荐文章于 2023-07-10 19:12:40 发布

阅读量247

点赞数

分类专栏： MQ 文章标签： kafka

本文链接：https://blog.csdn.net/Geek_ymv/article/details/100125533

版权

MQ 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

Kafka 安装部署

Kafka 版本：kafka_2.11-0.11.0.0

vim config/server.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0

# Switch to enable topic deletion or not, default value is false
delete.topic.enable=true

# A comma seperated list of directories under which to store log files
log.dirs=/opt/data/kafka0.11/kafka-logs

# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=node01:2181,node02:2181,node03:2181/kafka

zookeeper.connect 配置说明

ZooKeeper连接字符串的格式为：hostname:port，此处hostname和port分别是ZooKeeper集群中某个节点的host和port；为了当某个host宕掉之后你能通过其他ZooKeeper节点进行连接，你可以按照一下方式制定多个hosts：
hostname1:port1, hostname2:port2, hostname3:port3.

ZooKeeper 允许你增加一个“chroot”路径，将集群中所有kafka数据存放在特定的路径下。当多个Kafka集群或者其他应用使用相同ZooKeeper集群时，可以使用这个方式设置数据存放路径。这种方式的实现可以通过这样设置连接字符串格式，如下所示：
hostname1：port1，hostname2：port2，hostname3：port3/chroot/path
这样设置就将所有kafka集群数据存放在/chroot/path路径下。注意，在你启动broker之前，你必须创建这个路径，并且consumers必须使用相同的连接格式。

更详细的配置说明参考Kafka配置说明

启动命令

bin/kafka-server-start.sh -daemon config/server.properties

命令行操作

查看当前服务器中的所有topic

bin/kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181/kafka

创建topic

bin/kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181/kafka --replication-factor 1 --partitions 1 --topic test

--topic 指定topic名称。
--replication-factor 指定副本数，副本数不能大于broker数量（副本数 = leader + follower 数量）。
--partitions 指定分区数。

删除topic

bin/kafka-topics.sh --delete --zookeeper node01:2181,node02:2181,node03:2181/kafka --topic test

查看某个topic详情

bin/kafka-topics.sh --describe --zookeeper node01:2181,node02:2181,node03:2181/kafka --topic test

修改分区数

bin/kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181/kafka --alter --topic product --partitions 3

分区数只能增加不能减少。

发送消息

bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test
>This is a message
>This is another message

消费消息

bin/kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --topic test --from-beginning
This is a message
This is another message