「实践操作篇」单机部署实践手册

最新推荐文章于 2024-08-09 22:08:58 发布

2401_84046577

最新推荐文章于 2024-08-09 22:08:58 发布

阅读量711

点赞数 20

分类专栏：程序员文章标签： linq c#

本文链接：https://blog.csdn.net/2401_84046577/article/details/137386601

版权

程序员专栏收录该内容

275 篇文章 5 订阅

订阅专栏

本文介绍了如何在Kafka中管理和创建topic，包括设置auto.create.topics.enable参数、使用AdminClientAPI或kafka-topics.sh脚本创建topic，以及检查topic创建和消息生产、消费的过程。

摘要由CSDN通过智能技术生成

验证是否成功

创建主题

不过我们一般不建议将 auto.create.topics.enable 参数设置为 true，因为这个参数会影响 topic 的管理与维护。
kafka 的 0.10 版本之前，可以使用内置的 kafka-admin 包，后续提供了专门的类 AdminClient API 来进行 API 层面上的 topic 创建。
通过 kafka 提供的 kafka-topics.sh 脚本来创建，并且我们也建议通过这种方式（或者相关的变种方式）来创建 topic。

./kafka-create-topic.sh --partition 1 --replica 1 --zookeeper localhost:2181 --topic test

或者低版本

bin/kafka-topics.sh --create --zookeeper 192.168.0.2:2181/kafka100 --topic topic-test1 --replication-factor 2 --partitions 4

2181：是 zookeeper 端口
partion：topic 的数据内容被划分为几块存储
replication-factor: 物理存储 topic 的内容采用几个副本的容错策略

自动创建主题

如果 kafka broker 中的 config/server.properties 配置文件中配置了 auto.create.topics.enable 参数为 true（默认值就是 true），那么当生产者向一个尚未创建的 topic 发送消息时，会自动创建一个 num.partitions（默认值为 1）个分区和 default.replication.factor（默认值为 1）个副本的对应 topic。

命名规则

topic 的命名不推荐（虽然可以这样做）使用双下划线__开头，因为以双下划线开头的 topic 一般看作是 kafka 的内部 topic，比如__consumer_offsets 和__transaction_state。

topic 的名称必须满足如下规则：

由大小写字母、数字、.、-、_组成
不能为空、不能为.、不能为…
长度不能超过 249

创建 topic 时除了需要 zookeeper 的地址参数外，还需要指定 topic 的名称、副本因子 replication-factor 以及分区个数 partitions 等必选参数，还可以包括 disable-rack-aware、config、if-not-exists 等可选参数。

检查是否创建主题成功

./kafka-list-topic.sh --zookeeper localhost:2181

或者低版本可以使用

./kafka-topics.sh --list --zookeeper localhost:2181

启动 produce

Kafka 的 console-producer 在 topic test1 生产消息

./bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test1

然后输入想要产生的消息内容（如 hello world），回车：

启动 consumer

运行命令：

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test1 --from-beginning

9092 是 kafka 单机启动的端口；–bootstrap-server 新旧 kafka 版本不一样，这个是新版本的命令

关闭 kafka 和 zookeeper

./kafka-server-stop.sh ../config/server.properties``./zookeeper-server-stop.sh

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

即使是面试跳槽，那也是一个学习的过程。只有全面的复习，才能让我们更好的充实自己，武装自己，为自己的面试之路不再坎坷！今天就给大家分享一个Github上全面的Java面试题大全，就是这份面试大全助我拿下大厂Offer，月薪提至30K！

我也是第一时间分享出来给大家，希望可以帮助大家都能去往自己心仪的大厂！为金三银四做准备！
一共有20个知识点专题，分别是：