kafka-03-主题的操作和动态配置变更

1 主题操作

使用 kafka-topics.sh 工具可以执行主题的大部分操作(配置变更部分已经被移动到 kafka-configs.sh 工具当中)。我们可以用 kafka-topics.sh 创建、修改、 删除和查看集群里的主题。要使用该工具的全部功能,需要通过 --bootstrap-server 参数提供 Kafka broker 的连接字符串 。

1.1 创建主题 --create

在集群里创建一个主题需要用到 3 个参数。这些参数是必须提供的,尽管有些已经有了 broker 级别的默认值。

  1. 主题名字
    想要创建的主题的名字。

  2. 复制系数
    主题的副本数量

  3. 分区
    主题的分区数量。

指定主题配置
可以在创建主题时显式地指定复制系数或者对配置进行覆盖 ,不过我们不打算在这里介绍如何做到这些。稍后会介绍如何进行配置覆盖 , 它们是通过向 kafka-topics.sh 传递 --config 参数来实现的。本章还会介绍分区的重分配。

主题名字 可以包含字母、数字、下划线以及英文状态下的破折号和句号

注意:主题名字的开头部分包含两个下划线是合法的,但不建议这么做。具有这种格式的主题一般是集群的内部主题( 比如 __consumer_offsets 主题用于保存消费者群组的偏移量)。 也不建议在单个集群里使用英文状态下的句号和下划线来命名,因为主题的名字会被用在度量指标上,句号会被替换成下划线(比如“topic.1"会变成“topic_1")。

试着运行下面的命令 :
kafka-topics.sh --bootstrap-server <kafka connect> --create -- topic <string> --replication-factor <integer> --partitions <integer>

这个命令将会创建一个主题,主题的名字为指定的值 , 并包含了指定数量的分区。集群会为每个分区创建指定数量的副本。
如果为集群指定了基于机架信息的副本分配策略, 那么分区的副本会分布在不同的机架上。如果不需要基于机架信息的分配策略,可以指定参数 --disable-rack-aware 。

示例 :使用以下命令创建一个叫作 topic1 的主题 , 主题包含 2 个分区,每个分区拥有1个副本。

[root@docker01 ~]# /usr/local/kafka_2.13-2.6.0/bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic topic1 --replication-factor 1 --partitions 2
Created topic topic1.
[root@docker01 ~]# 

忽略重复创建主题的错误
在自动化系统里调用这个脚本时,可以使用 --if-not-exists 参数,这样即使主题已经存在,也不会抛出重复创建主题的错误

1.2 列出主题详细信息 --describe

主题工具还能用来获取主题的详细信息。信息里包含了分区数量 、主题的覆盖配置以及每个分区的副本清单。 如果通过 --topic 参数指定特定的主题, 就可以只列出指定主题的详细信息。
示例 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
配置kafka节点,请按照以下步骤进行操作: 1. 首先,确保你已经安装了kafka-eagle。你可以从官方网站http://www.kafka-eagle.org/下载最新版本的kafka-eagle-web-3.0.1 。 2. 打开kafka-eagle的配置文件,通常是kafka-eagle.properties。 3. 在配置文件中,找到kafka-eagle.metadata.broker.list参数,这个参数用来指定kafka集群的broker节点列表。将这个参数的值修改为你的kafka集群中的broker节点的地址和端口。多个节点之间可以用逗号进行分隔。 4. 如果你的kafka集群启用了身份验证机制,你还需要配置kafka-eagle.metadata.sasl.username和kafka-eagle.metadata.sasl.password参数,分别填入你的用户名和密码。 5. 保存配置文件并重启kafka-eagle服务。 现在,你已经成功配置kafka-eagle与kafka节点的连接。你可以使用kafka-eagle来监视kafka集群的状态、topic信息、IO、内存、consumer线程、偏移量等信息,并通过可视化图表展示。此外,你还可以使用kafka-eagle的KQL功能,通过SQL在线查询kafka中的数据 。 注意:如果你使用的是kafka自带的控制台生产者kafka-console-producer.sh ,请确保在配置kafka-eagle时正确填写了kafka集群的broker节点信息,以便kafka-eagle能够正确地与kafka集群进行通信。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [Kafka-Eagle 2.0.5安装](https://blog.csdn.net/qq_45360515/article/details/128041972)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [kafka安装部署+kafka-eagle+集成SpringBoot](https://blog.csdn.net/qq_57697356/article/details/130082807)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值