Kafka集群保姆级部署教程

于 2024-06-19 10:00:00 发布
阅读量360 收藏 8
点赞数 6
分类专栏： Kafka MQ 文章标签： kafka 分布式 云计算 运维 开发语言 docker 运维开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33906471/article/details/139769576
版权
Kafka 同时被 2 个专栏收录
3 篇文章 0 订阅
订阅专栏
MQ
3 篇文章 0 订阅
订阅专栏

目录

资源列表

基础环境

修改主机名

关闭防火墙

关闭selinux

安装JAVA

安装Kafka

下载Kafka

解压

修改配置文件

kafka01

kafka02

kafka03

启动服务

启动ZK

启动Kafka

验证测试

创建topic

查看topic

        今天给大家分享的是Kafka分布式集群部署，上次分享的单机版的kafka用于个人测试环境的话还好，但是生产环境就不建议了，生产环境还是建议部署分布式集群。

资源列表

操作系统配置主机名IP
CentOS7.9.20092C4Gkafka01192.168.207.131
CentOS7.9.20092C4Gkafka02192.168.207.165
CentOS7.9.20092C4Gkafka03192.168.207.166

基础环境

修改主机名

hostnamectl set-hostname kafka01
hostnamectl set-hostname kafka02
hostnamectl set-hostname kafka03

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

关闭selinux

setenforce 0

sed -i "s/.*SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config

安装JAVA

部署Kafka环境是需要JAVA环境的，所以我们先安装JAVA

yum -y install java-1.8.0-openjdk

安装Kafka

下载Kafka

https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz

解压

tar -xzf kafka_2.11-1.0.0.tgz
cd kafka_2.11-1.0.0

修改配置文件

kafka01

[root@kafka01 kafka_2.13-3.7.0]# vi config/server.properties

# 修改大约第24行左右，每个节点的这个id都不一样
broker.id=1

# 修改大约第34行左右，取消注释修改为自己的IP
listeners=PLAINTEXT://192.168.207.131:9092

# 修改大约第125行左右，写自己的zk集群地址，zk一般都是和kafka同节点，所以直接修改为3个节点的IP
zookeeper.connect=192.168.207.131:2181,192.168.207.165:2181,192.168.207.166:2181

kafka02

[root@kafka02 kafka_2.13-3.7.0]# vi config/server.properties

# 修改大约第24行左右，每个节点的这个id都不一样
broker.id=2

# 修改大约第34行左右，取消注释修改为自己的IP
listeners=PLAINTEXT://192.168.207.165:9092

# 修改大约第125行左右，写自己的zk集群地址，zk一般都是和kafka同节点，所以直接修改为3个节点的IP
zookeeper.connect=192.168.207.131:2181,192.168.207.165:2181,192.168.207.166:2181

kafka03

[root@kafka03 kafka_2.13-3.7.0]# vi config/server.properties

# 修改大约第24行左右，每个节点的这个id都不一样
broker.id=3

# 修改大约第34行左右，取消注释修改为自己的IP
listeners=PLAINTEXT://192.168.207.166:9092

# 修改大约第125行左右，写自己的zk集群地址，zk一般都是和kafka同节点，所以直接修改为3个节点的IP
zookeeper.connect=192.168.207.131:2181,192.168.207.165:2181,192.168.207.166:2181

启动服务

启动ZK

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

启动Kafka

bin/kafka-server-start.sh -daemon config/server.properties

验证测试

创建topic

让我们创建一个名为“test”的topic，它有一个分区和一个副本：

# --replication-factor指定副本数
# --partitions指定分区数
bin/kafka-topics.sh --create --bootstrap-server 192.168.207.131:9092 --replication-factor 1 --partitions 1 --topic test

查看topic

现在我们可以运行list（列表）命令来查看这个topic

bin/kafka-topics.sh --list --bootstrap-server 192.168.207.131:9092

畅云客
关注
  • 6
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka集群部署文档(部署，运维，FAQ)
06-27
kafka集群部署文档及kafka详解，包括kafka常用命令，详细部署说明，如何运维以及一些FAQ，下载app注册免费获取：http://m3w.cn/jcsh
kafka集群部署、监控
08-13
zookeeper集群部署，kafka集群部署，kafka介绍，topic创建、删除、kafka监控
Kafka集群安装部署-自带zookeeper
08-24
【Kafka集群安装部署-自带zookeeper】 Apache Kafka是一个分布式流处理平台，它被设计用于构建实时数据管道和流应用程序。Kafka的核心概念包括topic、producer、consumer和broker。Topic是消息的分类，producer负责...
Kafka集群部署
06-22
原创，Kafka集群部署，亲测可用。不懂可评论留言。文档写的简单60行搞定。
linux Redhat Kafka集群部署
11-19
redhat linux 部署Kafka集群
Kafka基础架构与核心概念？有哪些应用场景？
ningkangming的博客
06-13 787
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。架构特点是分区、多副本、多生产者、多订阅者，性能特点主要是高吞吐，低时延。Kafka主要设计特征如下：通过时间复杂度为O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量 ：即使是非常普通的硬件机器，Kafka也可以支持每秒数百万的消息。
Spring-kafka消费者消费的一些问题
欲望以提升热忱 毅力以磨平高山
06-16 813
Apache Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用程序。发布和订阅记录流：类似于消息队列或企业消息传递系统。存储记录流：存储数据流容错。处理记录流：实时或批处理方式处理数据流。Spring Kafka 是 Spring 框架的一个子项目，提供了用于与 Kafka 集成的便捷工具和抽象。Spring Kafka 包含在 Spring Boot 项目中，使得 Kafka 消息处理在 Spring 应用程序中变得更加容易和直观。
【Kafka】SpringBoot整合Kafka详细介绍及代码示例
分享学习
06-13 938
Apache Kafka是一个分布式流处理平台。它最初由LinkedIn开发，后来成为Apache软件基金会的一部分，并在开源社区中得到了广泛应用。Kafka的核心概念包括Producer、Consumer、Broker、Topic、Partition和Offset。Producer：生产者，负责将数据发送到Kafka集群。Consumer：消费者，从Kafka集群中读取数据。Broker：Kafka服务器实例，Kafka集群通常由多个Broker组成。Topic：主题，数据按主题进行分类。
分布式重点知识总结
A18937260063的博客
06-12 1295
分布式重点知识总结
【会议征稿，ACM出版】2024年云计算与大数据国际学术会议（ICCBD 2024，7月26-28)
Jurio的博客
06-15 682
【ACM独立出版 | 高录用 | EI核心检索稳定】2024年云计算与大数据国际学术会议（ICCBD 2024) 2024 International Conference on Cloud Computing and Big Data (ICCBD 2024)
长亭雷池部署
hellodaoyan的博客
06-14 388
然后把这个文件下载下来这是雷池的源文件 这个网上找吧 不知道能不能发给你们。之前在自己的虚拟机docker上试过安装github上的雷池。现在重新安装了ubuntu 在我的ubuntu上安装一个雷池。web账号：admin/pmdmwtMp 这个应该行吧。手工进行安装前环境检查，或在运行安装包的目录下，然后 下面第二个命令需要root 我试过了。这个不知道干嘛的然后应该后面会有用把。WAF 安装到 /data/基本就是照着ppt做就行很简单。，如果没有安装则进行自动安装。节点状态」确认节点正常。
Kubesphere替换出错的pod
kelven2004的专栏
06-14 141
碰到镜像里面出现默认镜像拉取不到的情况，更改yaml里面的配置即可。
nginx rewrite地址重写
2401_83883919的博客
06-12 1015
（3）将请求http://www.xy102.com/discuz/index.php 跳转到http://www.xy101.com/discuz/index.php ，保证原域名后面的uri路径不变。（4）将请求http://discuz.xy101.com/index.php 的访问跳转到http://www.xy101.com/discuz/index.php ，保证原域名后面的uri路径不变。优先级：精准匹配 = > 最长前缀匹配 ^~ > 正则匹配 ~ ~*!root 网页根目录;
Docker 命令大全
水滴的博客
06-15 760
Docker 是一个开源的容器化平台，使开发人员能够轻松地创建、部署和运行应用程序。它通过容器技术将应用程序及其所有依赖项打包在一起，确保在任何环境中都能一致运行。掌握 Docker 命令行工具是使用 Docker 的关键。本文将详细介绍常用的 Docker 命令，并附带示例。以上是 Docker 常用命令的简要概述，掌握这些命令将有助于您更高效地使用 Docker 进行容器管理和应用部署。在实际操作中，可以通过和docker --help查看每个命令的详细用法和参数选项。
python操作jenkins
weixin_42836297的博客
06-12 248
参考链接： python操作jenkins
SwitchHosts 简明教程
最新发布
Sahara_Savage
06-17 262
SwitchHosts 安装及使用
从零手写实现 nginx-20-placeholder 占位符 $
06-12 1162
大家好，我是老马。很高兴遇到你。我们为 java 开发者实现了 java 版本的 nginx如果你想知道 servlet 如何处理的，可以参考我的另一个项目：手写从零实现简易版 tomcatminicat除了内置变量，Nginx 还允许用户自定义变量。自定义变量可以在set指令中定义。在这个例子中，定义了一个自定义变量，其值为，并在响应中返回这个值。Nginx 支持占位符的主要目的是提供更高的灵活性和动态性，使其能够适应各种复杂的应用场景和需求。
Centos7.9使用kubeadm部署K8S单机环境
codelearning的专栏
06-11 776
使用kubeadm部署一个k8s单机环境。
linux写代码环境和工具
2301_80687320的博客
06-16 888
Linux作为一个自由和开放源码的操作系统，其环境具有高度的灵活性和可定制性。无论是在服务器、桌面应用、嵌入式系统还是云计算等领域，Linux都凭借其出色的性能和稳定性赢得了广泛的认可。本文将深入探讨Linux环境的构建、配置以及其对应用程序和系统性能的影响。一、Linux开发需要什么？1. 学习yum工具，进行软件安装2. 掌握vim编辑器使用，学会vim的简单配置3. 掌握gcc/g++编译器的使用，并了解其过程，原理4. 掌握简单gdb使用于调试。
kafka集群部署docker
08-16
你可以使用Docker来部署Kafka集群。下面是一个简单的步骤指南： 1. 首先，确保你已经安装了Docker和Docker Compose。 2. 创建一个新的目录，并在该目录中创建一个名为docker-compose.yml的文件。 3. 在docker-compose.yml文件中，添加以下内容： ```yaml version: '3' services: zookeeper: image: confluentinc/cp-zookeeper:latest environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 ports: - "2181:2181" networks: - kafka-network kafka: image: confluentinc/cp-kafka:latest depends_on: - zookeeper environment: KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 ports: - "9092:9092" networks: - kafka-network networks: kafka-network: driver: bridge ``` 4. 保存并关闭docker-compose.yml文件。 5. 在终端中，进入到包含docker-compose.yml文件的目录，并运行以下命令启动Kafka集群： ``` docker-compose up -d ``` 6. Docker将下载并启动所需的镜像，并在后台运行Kafka集群容器。 现在，你的Kafka集群已经成功部署在Docker中。你可以使用Kafka的客户端工具来连接到Kafka集群，并进行相关操作。请注意，上述步骤只是一个简单的示例，你可以根据需要进行自定义配置和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值