# Kafka_深入探秘者（4）：kafka 主题 topic

最新推荐文章于 2024-06-28 16:00:00 发布

段子手-168

最新推荐文章于 2024-06-28 16:00:00 发布

阅读量927

点赞数 20

分类专栏：消息中间件-Kafka 文章标签： kafka spring boot spring cloud java 消息中间件Kafka topic Partitions

本文链接：https://blog.csdn.net/qfyh_djh/article/details/139888838

版权

消息中间件-Kafka 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

Kafka_深入探秘者（4）：kafka 主题 topic

一、kafka 主题管理

1、kafka 创建主题 topic 命令

1）命令：


# 切换到 kafka 安装目录
cd /usr/local/kafka/kafka_2.12-2.8.0/

# 创建一个名为 heima 的 主题
bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic heima --partitions 2 --replication-factor 1

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
bin/kafka-topics.sh --zookeeper 172.18.30.110:2181 --create --topic heima --partitions 2 --replication-factor 1

2）命令参数说明：

–zookeeper ：指定了 kafka 所连接的 zookeeper 服务地址。zookeeper必传参数，多个zookeeper用’，"分开。
–topic : 指定了所要创建主题的名称
–partitions : 指定了分区个数，每个线程处理一个分区数据。
–replication-factor : 指定了副本因子，用于设置主题副本数，每个副本分布在不通节点，不能超过总结点数。如你只有一个节点，但是创建时指定副本数为2，就会报错
–create : 创建主题的动作指令。

2、查看 topic 元数据信细的方法：

topic 元数据信息保存在 Zookeeper 节点中，


# 切换到 zookeeper 安装目录
cd /usr/local/zookeeper/apache-zookeeper-3.6.3-bin

# 连接 zookeeper 查看元数据
bin/zkCli.sh -server localhost:2181

# 查看 节点 信息：
get /brokers/topics/heima

在这里插入图片描述

3、展示出当前所有主题


# 切换目录
cd /usr/local/kafka/kafka_2.12-2.8.0/

# 展示出当前所有主题
bin/kafka-topics.sh --list --zookeeper localhost:2181

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
bin/kafka-topics.sh --list --zookeeper 172.18.30.110:2181

4、查看主题详情：


# 切换目录
cd /usr/local/kafka/kafka_2.12-2.8.0/

# 查看主题详情
bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic heima

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
bin/kafka-topics.sh --zookeeper 172.18.30.110:2181 --describe --topic heima

5、修改主题 topic 配置（增加配置）


# 切换到 kafka 安装目录
cd /usr/local/kafka/kafka_2.12-2.8.0/

# 修改 主题 topic 配置（增加配置）
bin/kafka-topics.sh  --alter --zookeeper localhost:2181 --topic heima --config flush.messages=1

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
bin/kafka-topics.sh  --alter --zookeeper 172.18.30.110:2181 --topic heima --config flush.messages=1

6、删除主题 topic 配置 flush.messages=1


# 切换到 kafka 安装目录
cd /usr/local/kafka/kafka_2.12-2.8.0/

# 删除 主题 topic 配置 flush.messages=1
bin/kafka-topics.sh  --alter --zookeeper localhost:2181 --topic heima --delete-config flush.messages

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
bin/kafka-topics.sh  --alter --zookeeper 172.18.30.110:2181 --topic heima --delete-config flush.messages

7、删除 topic 主题

若 delete.topic.enable=true 直接彻底删除该 Topic 主题。

若 delete.topic.enable=false
如果当前 Topic 没有使用过，即没有传输过信息:可以彻底删除。
如果当前 Topic 有使用过，即有过传输过信息:并没有真正删除 Topic，只是把这个 Topic 标记为删除(marked fordeletion)，重启 Kafka Server 后删除。


# 切换到 kafka 安装目录
cd /usr/local/kafka/kafka_2.12-2.8.0/

# 删除 topic 主题名为 heima 的主题
bin/kafka-topics.sh  --delete --zookeeper localhost:2181 --topic heima 

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
bin/kafka-topics.sh  --delete --zookeeper 172.18.30.110:2181 --topic heima

在这里插入图片描述

二、kafka 分区

1、kafka 增加分区


# 切换到 kafka 安装目录
cd /usr/local/kafka/kafka_2.12-2.8.0/

# 增加 topic 主题名为 heima 的主题的 分区为 3 个
bin/kafka-topics.sh  --alter --zookeeper localhost:2181 --topic heima --partitions 3 

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
bin/kafka-topics.sh  --alter --zookeeper 172.18.30.110:2181 --topic heima --partitions 3

# 查看 heima 主题详情：
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic heima

# 或者把 localhost 换成 填写你的 虚拟机 IP 地址（如：172.18.30.110）：
bin/kafka-topics.sh --describe --zookeeper 172.18.30.110:2181 --topic heima

在这里插入图片描述

2、其他主题参数配置

见官方文档: http://kafka.apache.org/documentation/#topicconfigs


bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic my-topic --partitions 1 \
  --replication-factor 1 --config max.message.bytes=64000 --config flush.messages=1
  
  
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-topic
  --alter --add-config max.message.bytes=128000 
  
  
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-topic --describe  


bin/kafka-configs.sh --bootstrap-server localhost:9092  --entity-type topics --entity-name my-topic
  --alter --delete-config max.message.bytes

三、kafka 主题 topic 总结

1、KafkaAdminClient 应用

我们都习惯使用 Kafka 中 bin 目录下的脚本工具来管理査看 Kafka，但是有些时候需要将某些管理查看的功能集成到系统 (比如Kafka Manager)中，那么就需要调用一些 API 来直接操作 Kafka 了。

2、在 kafka_learn 工程中，创建 KafkaAdminConfigOperation.java 类, KafkaAdminClient 应用


/**
 *  D:\java-test\idea2019\kafka_learn\src\main\java\djh\it\kafka\learn\chapter3\KafkaAdminConfigOperation.java
 *
 *  2024-6-22 创建 KafkaAdminConfigOperation.java 类, KafkaAdminClient 应用
 */
package djh.it.kafka.learn.chapter3;

import kafka.controller.NewPartition;
import org.apache.kafka.clients.admin.*;
import org.apache.kafka.common.config.ConfigResource;

import java.util.Collections;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;
import java.util.concurrent.ExecutionException;

public class KafkaAdminConfigOperation {

    public static void main( String[] args ) throws ExecutionException, InterruptedException {
        describeTopicConfig();   //获取主题详细信息
//        alterTopicConfig();    //添加主题
//        addTopicPartitions();  //添加分区
    }
    private static void addTopicPartitions() throws ExecutionException, InterruptedException {
        String brokerList = "172.18.30.110:9092";
        String topic = "heima";

        Properties props = new Properties();
        props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, brokerList);
        props.put(AdminClientConfig.REQUEST_TIMEOUT_MS_CONFIG, 30000);
        AdminClient client = AdminClient.create(props);

        NewPartitions newPartitions = NewPartitions.increaseTo(4);

        Map<String, NewPartitions> newPartitionsMap = new HashMap<>();
        newPartitionsMap.put(topic,newPartitions);
        CreatePartitionsResult result = client.createPartitions(newPartitionsMap);
        result.all().get();

        client.close();
    }

    private static void describeTopicConfig() throws ExecutionException, InterruptedException {
        String brokerList = "172.18.30.110:9092";
        String topic = "heima";

        Properties props = new Properties();
        props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, brokerList);
        props.put(AdminClientConfig.REQUEST_TIMEOUT_MS_CONFIG, 30000);
        AdminClient client = AdminClient.create(props);

        ConfigResource resource = new ConfigResource(ConfigResource.Type.TOPIC, topic);
        DescribeConfigsResult result = client.describeConfigs(Collections.singleton(resource));
        Config config = result.all().get().get(resource);
        System.out.println(config);
        client.close();
    }
}