centos7搭建kafka集群

最新推荐文章于 2023-08-01 00:17:03 发布
最新推荐文章于 2023-08-01 00:17:03 发布
阅读量2.1k 收藏 10
点赞数 2
分类专栏： kafka 文章标签： kafka集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cocktail_py/article/details/89877741
版权

centos7搭建kafka集群

环境 提取码:uh51：
jdk-8u201-linux-x64.tar.gz
zookeeper-3.4.14.tar.gz
kafka_2.12-2.2.0.tgz
服务器三台：
192.168.18.133
192.168.18.134
192.168.18.136

以下需要开放的端口

# 开放2888,3888,9092,2181等端口
firewall-cmd --zone=public --add-port={端口}/tcp --permanent
# 重新启动防火墙
firewall-cmd --reload

》》》在三台服务器中进行一下操作

步骤1.安装JAVA环境

# 将java安装包移动到相应的路径
mv jdk-8u201-linux-x64.tar.gz /usr/local

# 解压
tar -zxvf jdk-8u201-linux-x64.tar.gz

# 重命名文件夹为java
mv jdk1.8.0_201 java

# 添加java环境到配置/etc/profile文件  vim /etc/profile 激活 source /etc/profile
export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
检验JAVA是否安装成功
echo $JAVA_HOME 
java
javac

步骤2.搭建zookeeper集群

Zookeeper集群被称为群组.Zookeeper使用的是一致性协议,建议每个群组应该包含奇数个节点(比如3个,5个等),因为只有当群组里的大多数节点(也就是法定人数)处于可用状态,Zookeeper才能处理外部的请求.假如,一个群组包含3个节点,那么允许一个节点失效.假如,一个群组包含5个节点,那么允许2个节点失效.
群组需要有一些公共配置.每台服务器还要再数据目录创建一个myid文件,用于指明自己的ID.如果群组里服务器的机器名是zoo1.example.com,zoo2.example.com,zoo3.example.com.
在这里插入图片描述
initLimt表示用于在从节点与主节点之间建立初始化连接的时间上限,syncLimit表示允许从节点与主节点之间建立初始化连接的时间上限.这两个值都是tickTime的倍数,所以initLimit是20*2000ms,也就是40s.服务器地址遵循 server.X=hostname:peerPort:leaderPort格式:
X 服务器ID,必须是一个整数,不一定从0开始,也不要求是连续的;
hostname 服务器的机器名或IP地址
peerPort 用于节点间通信TCP端口
leaderPort 用于首领选举的TCP端口.
客户端只需要通过clientPort就能连接到群组,而群组节点间的通信则需要同时用到这3个端口(peerPort,leaderPort,clientPort)…
除了公共的配置文件外,每个服务器都必须在data Dir目录中创建一个叫作myid的文件,文件里要包含服务器ID,这个ID要与配置文件里配置的ID保持一致.

# 将zookeeper安装包移动到相应的路径
mv zookeeper-3.4.14.tar.gz /usr/local

# 解压
tar -zxvf zookeeper-3.4.14.tar.gz

# 重命名文件夹为zookeeper
mv zookeeper-3.4.14 zookeeper

# 添加zookeeper环境到配置/etc/profile文件  vim /etc/profile 激活 source /etc/profile
#set zookeeper environment
export ZK_HOME=/usr/local/zookeeper
export PATH=$ZK_HOME/bin:$PATH
修改zookeeper配置文件
# 修改zookeeper配置文件
cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
vim /usr/local/zookeeper/conf/zoo.cfg

# 配置数据路径
dataDir=/var/zookeeper/data
# 配置日志路径
dataLogDir=/var/zookeeper/logs
#server.x 对应IP服务器 ${dataDir}/myid 必须一致
server.1=192.168.18.133:2888:3888
server.2=192.168.18.134:2888:3888
server.3=192.168.18.136:2888:3888
创建数据、日志目录
mkdir -p /var/zookeeper/data
mkdir -p /var/zookeeper/logs

主机名 IP地址 zookeeper myid
kafka-1 192.168.18.133 server.1 1
kafka-2 192.168.18.134 server.2 2
kafka-3 192.168.18.136 server.3 3

创建myid文件
echo x > /var/zookeeper/data/myid  # /var/zookeeper/data为zoo.cfg中dataDir配置的路径;x为主机IP对应的zoo.cfg中的server.x
在每台服务器中启动zookeeper
 /usr/local/zookeeper/bin/zkServer.sh start
全部启动后，查看启动结果
 /usr/local/zookeeper/bin/zkServer.sh status

ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader  # leader follower

通过nc方式验证

yum install -y nc

echo stat | nc 192.168.9.5 2181

Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
Clients:
 /192.168.9.5:58838[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/56
Received: 1623
Sent: 1083
Connections: 1
Outstanding: 0
Zxid: 0x100000135
Mode: leader # leader follower
Node count: 136
Proposal sizes last/min/max: 243/32/574

通过四字命令srvr方式验证

telnet localhost 2181

Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.

srvr

Zookeeper version: 3.4.14-4c25d480e66aadd371de8bd2fd8da255ac140bcf, built on 03/06/2019 16:18 GMT
Latency min/avg/max: 0/0/20
Received: 70036
Sent: 70039
Connections: 2
Outstanding: 0
Zxid: 0x1dd
Mode: standalone
Node count: 188
Connection closed by foreign host.

步骤3.搭建kafka集群

# 将kafka安装包移动到相应的路径
mv kafka_2.12-2.2.0.tgz /usr/local

# 解压
tar -zxvf kafka_2.12-2.2.0.tgz

# 重命名
mv kafka_2.12-2.2.0 kafka

修改server.properties配置
vim /usr/local/kafka/config/server.properties

#服务器标识不能相同
broker.id=1
# 设置6个分区
num.partitions=6
# 日志
log.dirs=/usr/local/kafka/logs
# 不同服务器的ip不同
# listeners=PLAINTEXT://192.168.18.133:9092
# 单机远程连接的时候需要开启下面这一项，然后listeners=PLAINTEXT 这一项需要注释掉
advertised.listeners=PLAINTEXT://192.168.18.133:9092
#advertised.host.name=master
#advertised.port=9092
# zookeeper.connect=192.168.18.133:2181 # 单机配置
zookeeper.connect=192.168.18.133:2181,192.168.18.134:2181,192.168.18.136:2181

依次在每台服务器启动Kafka

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
# 后台启动
# /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

创建Topic

bin/kafka-topics.sh --create --zookeeper 192.168.18.133:9092,192.168.18.134:9092,192.168.18.136:9092 --replication-factor 2 --partitions 2 --topic test

查看 Topic describe

bin/kafka-topics.sh --describe --zookeeper 192.168.18.133:9092,192.168.18.134:9092,192.168.18.136:9092 --topic test

在其中一台服务器启动consumer

bin/kafka-console-consumer.sh --bootstrap-server192.168.18.133:9092,192.168.18.134:9092,192.168.18.136:9092 --topic test --from-beginning

在任意议一台服务器启动producer

bin/kafka-console-producer.sh --broker-list 192.168.18.133:9092,192.168.18.134:9092,192.168.18.136:9092 --topic test

如果consumer服务器接收到producer服务器输入的内容，则启动集群成功.

kafka内网外网访问配置

内网 外网
192.168.18.133:9092---->157...7:9093
192.168.18.134:9092---->157...7:9094
192.168.18.136:9092---->157...7:9095

#在对应的服务器中都进行相应的配置

  1. 先在/etc/hosts文件中添加解析记录
    192.168.18.133 HostName
  2. 修改server.properties配置
    vim /usr/local/kafka/config/server.properties
listeners=PLAINTEXT://0.0.0.0:9092
# 对应端口映射的外网ip配置
advertised.listeners=PLAINTEXT://157.*.*.7:9093
advertised.host.name=HostName

kafka监控工具kafkaOffsetMoniter的使用 https://blog.csdn.net/lsshlsw/article/details/47342821
参考 http://1987.name/1303.html
参考https://www.jianshu.com/p/bdd9608df6b3
参考 https://github.com/judasn/Linux-Tutorial/blob/master/markdown-file/Kafka-Install-And-Settings.md
参考https://blog.csdn.net/leontom/article/details/82659228

Cocktail_py
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
centos7下Redis哨兵集群和kafka集群和zookeeper集群搭建
12-14
centos7下Redis哨兵集群和kafka集群和zookeeper集群搭建 http://blog.csdn.net/gaowenhui2008/article/details/71516901 https://cwiki.apache.org/confluence/display/KAFKA/Clients
Docker搭建Zookeeper&Kafka集群的实现
01-11
最近在学习Kafka，准备测试集群状态的时候感觉无论是开三台虚拟机或者在一台虚拟机开辟三个不同的端口号都太麻烦了（嗯。。主要是懒）。 环境准备 一台可以上网且有CentOS7虚拟机的电脑 为什么使用虚拟机？因为使用...
centos7下kafka和zookeeper和Redis集群搭建.zip
12-30
centos7下kafka和zookeeper和Redis集群搭建
Centos7系统部署搭建Kafka集群
一起学习一起进步~
06-07 2339
Kafka 的所有命令行工具都有额外的选项：运行kafka-topics.sh不带任何参数的命令以显示使用信息。kafka的事件储存在主题中，主题类似于文件系统中的文件夹，事件是该文件夹中的文件。我们首先创建一个主题 topic-test，并指定分区为 0，读取模式为从头读取，并连接本地服务器。完成后可以得到一个kafka的文件夹，我这里是直接放在桌面的，各位可以根据自己需求选择文件夹存放。以前的kafka之前还需要准备zookeeper环境，新版的kafka中自带由，免去了很多麻烦。
CentOS7搭建Kafka集群
it_lihongmin的博客
05-11 1279
目录 一、Kafka单机【依赖单机的单节点Zookeeper】 二、KafKa集群搭建 三、Kafka Manager（web页面管理）的搭建 四、使用本地客户端测试MQ基本操作 首先kafka的配置信息等信息依赖zookeeper，这里可以根据情况选择搭建zookeeper的形式（单机、一台服务器上搭建的集群、以及三台服务器搭建的集群等），可以参考：CentOS7搭建Zookeeper集群https://blog.csdn.net/it_lihongmin/article/details/12.
CentOS 7部署kafka集群
ZHOU_0522的博客
02-13 390
CentOS7配置Kafka集群
Centos7搭建zookeeper集群以及kafka集群教程
beyond丿灬的博客
08-30 420
首先 你得去下个包 ：https://archive.apache.org/dist/zookeeper/ 这里博主用 3.4.13举个例子 记得下 结尾为.gz的 案例用的服务器ip 主：192.168.79.130 从：192.168.79.131 把包弄到服务器上 然后用tar -zxvf zookeeper-3.4.13.tar.gz 解压 以下...
Kafka 在CentOS下安装
Tongyao
04-01 1万+
1、下载 使用wget命令，远程下载kafka wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8.1/kafka_2.12-2.8.1.tgz --no-check-certificate 2、解压文件 tar -zxvf ./kafka_2.12-2.8.1.tgz -C /usr/local/ 修改名称 mv ./kafka_2.12-2.8.1.tgz kafka2.12 3、修改配置文件 cd kafka2.12 vim c
Kafka集群部署
热门推荐
aiXueLing专栏
03-03 5万+
一、前提条件 1、部署Kafka集群搭建需要服务器至少3台，奇数台 2、Kafka的安装需要java环境，jdk1.8 3、Kafka安装包版本：kafka_2.11-0.10.0.1.tar.gz 4、假设3台服务器分别为：kafka1、kafka2、kafka3 kafka服务器名 IP 域名 kafka1 ...
centos7系统超详细部署Kafka教程
蓝易云
08-01 1190
这是一个基本的CentOS 7系统部署Kafka的教程。根据您的需求，还有其他配置和调优步骤可以进行，例如设置集群、安全性设置和性能调优等。建议参考Kafka官方文档以获取更详细的指南和文档。部署Kafka是一项复杂的任务，涉及到多个步骤和配置。替换为您想要下载的Kafka版本，将。替换为Scala的版本，例如。替换为您希望创建的主题名称。
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。 注意事项：请严格按照文档操作，作者已经按照文档操作实现环境搭建。 内附百度网盘下载地址，有hadoop+zookeeper+...
大数据分布式集群环境搭建.docx
11-09
centos大数据分布式集群搭建，包含hadoop spark hbase hive solr elasticsearch redis zookeeper rocketmq mongodb mariadb storm kafka docker
施耐德PLC例程源码twidopid控制实列
04-22
施耐德PLC例程源码twido pid 控制实列提取方式是百度网盘分享地址
node-v19.2.0-darwin-arm64.tar.xz
04-22
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
node-v15.12.0-darwin-x64.tar.xz
最新发布
04-22
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
毕业设计 一款家庭记账本.zip
04-22
毕业设计 一款家庭记账本
Apache-maven-3.9.6-bin.tar.gz 安装包
04-22
本资源是apache-maven-3.9.6版本安装包，适用于 Mac 操作系统，内部包含 apache-maven-3.9.6-bin.tar.gz 和 安装步骤，仅需解压即可使用，非常方便快捷！
机械设计4L斗式提升sw16可编辑非常好的设计图纸100%好用.zip
04-22
机械设计4L斗式提升sw16可编辑非常好的设计图纸100%好用.zip
计算机设计 - VB+access文档管理系统(系统+开题报告+LW+答辩)，保证可靠运行，毕业生可参考，免费资源下载
04-22
本项目旨在开发一个基于VB（Visual Basic）和Access数据库的文档管理系统。该系统的主要目标是提高文档管理的效率和准确性，以满足企事业单位对文档管理的日常需求。 系统采用VB作为前端开发工具，利用其友好的用户界面和强大的编程能力，为用户提供直观、易用的操作界面。同时，Access数据库作为后端存储，确保文档数据的安全性和稳定性。 在系统功能上，本系统实现了文档的上传、下载、修改、删除等基本操作，同时支持文档的分类管理、权限控制等高级功能。通过分类管理，用户可以方便地查找和定位所需文档；通过权限控制，系统可以确保不同用户只能访问其权限范围内的文档，从而保障文档的安全性。 此外，系统还具备数据备份和恢复功能，以防止因意外情况导致的数据丢失。同时，系统还提供了日志记录功能，便于管理员对系统操作进行监控和审计。 本项目的开发将极大地提高企事业单位的文档管理效率，降低管理成本，为企业的信息化建设提供有力支持。未来，我们还将根据用户需求，不断优化系统功能，提升用户体验。
centos7搭建mariadbgalera集群
04-25
3. 启动Galera集群中的第一个节点，并指定一个集群地址。例如： systemctl start mariadb service mysql start 4. 在其他节点上启动Galera。例如： systemctl start mariadb service mysql start 5. 检查您的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cocktail_py

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值