Kafka 基本操作

Apache Kafka的基本操作主要包括创建Topic、生产消息、消费消息、管理Topic以及监控Kafka集群。以下是一些常用的操作示例：

一、创建Topic

在Kafka的bin目录下，使用kafka-topics.sh脚本创建Topic：

./kafka-topics.sh --create \
    --bootstrap-server <broker_list> \
    --replication-factor <replication_factor> \
    --partitions <number_of_partitions> \
    --topic <topic_name>

参数说明：

• <broker_list>：Kafka集群的Broker地址列表，如 localhost:9092,another_host:9092。
• <replication_factor>：Topic的副本因子，即每个Partition有多少个副本，默认为1。
• <number_of_partitions>：Topic的分区数，决定并行处理能力。
• <topic_name>：要创建的Topic名称。

二、列出所有Topic

查看已存在的Topic列表：

./kafka-topics.sh --list --bootstrap-server <broker_list>

三、生产消息

使用kafka-console-producer.sh脚本以命令行方式发送消息：

./kafka-console-producer.sh --bootstrap-server <broker_list> --topic <topic_name>

在打开的终端中输入消息文本，每行代表一条消息，完成后按Ctrl+C退出。

如果您希望从文件中批量发送消息，可以使用如下命令：

cat <message_file> | ./kafka-console-producer.sh --bootstrap-server <broker_list> --topic <topic_name>

四、消费消息

使用kafka-console-consumer.sh脚本以命令行方式消费消息：

./kafka-console-consumer.sh --bootstrap-server <broker_list> --topic <topic_name> [--from-beginning]

--from-beginning 参数可选，指定从Topic的起始位置开始消费。如果不指定，将只消费新产生的消息。

五、删除Topic

删除指定Topic（注意：此操作不可逆）：

./kafka-topics.sh --delete --bootstrap-server <broker_list> --topic <topic_name>

六、修改Topic配置

更新Topic的配置参数：

./kafka-configs.sh --bootstrap-server <broker_list> --alter --entity-type topics --entity-name <topic_name> --add-config <config_name>=<config_value>

例如，增加消息保留时间（retention.ms）：

./kafka-configs.sh --bootstrap-server <broker_list> --alter --entity-type topics --entity-name <topic_name> --add-config retention.ms=604800000

七、查看Topic详情

查询Topic的详细信息，包括分区、副本、配置等：

./kafka-topics.sh --describe --bootstrap-server <broker_list> --topic <topic_name>

八、监控Kafka集群

1. 查看Broker状态：

   ./kafka-broker-api-versions.sh --bootstrap-server <broker_list>
   

   或者访问JMX端点（如果开启）：

   curl http://localhost:9999/jolokia/read/kafka.server:type=KafkaServer,name=BrokerState
   

2. 查看Topic分区状态：

   ./kafka-consumer-groups.sh --bootstrap-server <broker_list> --describe --group <consumer_group>
   

3. 监控Kafka Metrics：

   Kafka提供了JMX接口以及Prometheus等第三方监控工具的支持。可以通过JMX工具（如JConsole、VisualVM）连接到Broker的JMX端口，或者配置PrometheusExporter收集Kafka Metrics，再对接Grafana等可视化工具展示监控数据。

以上就是Kafka的一些基本操作，涵盖了Topic管理、消息生产和消费以及集群监控等方面。实际使用中，还可以通过编程方式（如使用Kafka Java/Scala客户端、Kafka REST Proxy、Kafka Connect等）进行更复杂的操作和集成。