Kafka集群安装手册

最新推荐文章于 2024-07-12 07:15:00 发布
最新推荐文章于 2024-07-12 07:15:00 发布
阅读量264 收藏
点赞数
分类专栏： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41601114/article/details/105498572
版权

Kafka群安装手册

CentOS7

目 录

1 概述
2 部署环境
3 系统环境搭建
3.1 修改yum源
4 安装JAVA环境
4.1 配置环境变量
4.2 检验
5 关闭防火墙
6 配置服务器间信任ssh(可不做)
7 kafka集群安装
7.1 解压缩
7.2 编辑配置文件
7.3 配置zookeeper
7.4 启动zookeeper
7.5 启动kafka
7.6 检查测试
7.7 操作kafka
7.8 开机自启动
7.8.1 zookeeper开机自启
7.8.2 kafka开机自启
7.9 自启动后检测
8 zookeeper安装(如果想自己单独安装的话)
8.1 解压安装包
8.2 配置zookeeper
8.3 创建myid文件
8.4 配置环境变量
8.5 启动
8.6 直接测试启动
8.7 正常后台启动
8.8 设置开机启动

1 概述

Kafka作为消息中间件具有高吞吐率,低延时,消息可靠性高的特点,可应用于大批量消息传递的场景下作为消息中间件进行部署

2 部署环境

启动3个虚拟机进行部署
IP 主机名 备注 用户名 口令
192.168.5.39 kafka-1 kafka节点1 root root
192.168.5.40 kafka-2 kafka节点2 root root
192.168.5.41 kafka-3 kafka节点3 root root

每节点统一分配:内存8G,CPU 2颗

3 系统环境搭建

3.1 修改yum源

yum install -y wget vim
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum makecache
yum update -y

把节点名称解析添加到/etc/hosts文件中,并注释掉127.0.0.1

vim /etc/hosts
192.168.5.39 kafka-1
192.168.5.40 kafka-2
192.168.5.41 kafka-3

在这里插入图片描述

4 安装JAVA环境

版本: jdk-8u231-linux-x64.tar.gz

tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local

4.1 配置环境变量

vim /etc/profile

在文件中最后增加如下内容

export JAVA_HOME=/usr/local/jdk1.8.0_231
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

保存后刷新环境变量

source /etc/profile

配置完成

4.2 检验

java -version

在这里插入图片描述

javac -version

在这里插入图片描述

5 关闭防火墙

systemctl disable firewalld.service
systemctl stop firewalld.service
systemctl status firewalld.service

6 配置服务器间信任ssh(可不做)
配置信任为了复制文件方便,可不做,但每次用scp复制文件的时候需要手动输入密码.
(3台机器都需要)

ssh-keygen

在这里插入图片描述

ssh-copy-id -i .ssh/id_rsa.pub root@kafka-2
ssh-copy-id -i .ssh/id_rsa.pub root@kafka-3

在这里插入图片描述

7 kafka集群安装

项目主页: http://kafka.apache.org/
下载地址: https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.1/kafka_2.13-2.4.1.tgz

以下操作也都需要在三台服务器上执行.

7.1 解压缩

tar -zxvf kafka_2.13-2.4.1.tgz -C /opt/

7.2 编辑配置文件

vim /opt/kafka_2.13-2.4.1/config/server.properties

仔细查看配置文件中内容,如果有重复的必须删除

kafka-1配置

# 编号要求唯一性,以ip地址进行标记
broker.id=39

port=9092
host.name=kafka-1
log.dirs=/data/kafka/logs
zookeeper.connect=kafka-1:2181,kafka-2:2181,kafka-3:2181
listeners = PLAINTEXT://kafka-1:9092
advertised.listeners=PLAINTEXT://kafka-1:9092

zookeeper.connect=192.168.5.39:2181,192.168.5.40:2181,192.168.5.41:2181

kafka-2配置

# 编号要求唯一性,以ip地址进行标记
broker.id=40

port=9092
host.name=kafka-2
log.dirs=/data/kafka/logs
zookeeper.connect=kafka-1:2181,kafka-2:2181,kafka-3:2181
listeners = PLAINTEXT://kafka-2:9092
advertised.listeners=PLAINTEXT://kafka-2:9092

zookeeper.connect=192.168.5.39:2181,192.168.5.40:2181,192.168.5.41:2181

kafka-3配置

# 编号要求唯一性,以ip地址进行标记
broker.id=41

port=9092
host.name=kafka-3
log.dirs=/data/kafka/logs
zookeeper.connect=kafka-1:2181,kafka-2:2181,kafka-3:2181
listeners = PLAINTEXT://kafka-3:9092
advertised.listeners=PLAINTEXT://kafka-3:9092

zookeeper.connect=192.168.5.39:2181,192.168.5.40:2181,192.168.5.41:2181

保存后去建立目录

mkdir -p /data/kafka/logs

7.3 配置zookeeper

本次利用kafka自带的zookeeper进行配置,如果需要单独安装zookeeper,可以参见第八章

vim /opt/kafka_2.13-2.4.1/config/zookeeper.properties

改写文件内容如下:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/data/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

## Metrics Providers
#
# https://prometheus.io Metrics Exporter
#metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
#metricsProvider.httpPort=7000
#metricsProvider.exportJvmInfo=true
server.1=kafka-1:12888:13888
server.2=kafka-2:12888:13888
server.3=kafka-3:12888:13888

7.4 启动zookeeper

三台机器分别启动zookeeper

/opt/kafka_2.13-2.4.1/bin/zookeeper-server-start.sh /opt/kafka_2.13-2.4.1/config/zookeeper.properties

7.5 启动kafka

然后三台机器分别启动kafka

/opt/kafka_2.13-2.4.1/bin/kafka-server-start.sh -daemon /opt/kafka_2.13-2.4.1/config/server.properties

7.6 检查测试

三台机器输入jps后将提示如下内容,则说明kafka启动成功

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.7 操作kafka

在这里插入图片描述

7.8 开机自启动

7.8.1 zookeeper开机自启

vim /lib/systemd/system/zookeeper.service

[Unit]
Description=Zookeeper service
After=network.target

[Service]
Type=simple
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/jdk1.8.0_231/bin"
User=root
Group=root
ExecStart=/opt/kafka_2.13-2.4.1/bin/zookeeper-server-start.sh /opt/kafka_2.13-2.4.1/config/zookeeper.properties
ExecStop=/opt/kafka_2.13-2.4.1/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

注意java的路径和启动路径

刷新配置

systemctl daemon-reload

开机自启动

systemctl enable zookeeper.service

7.8.2 kafka开机自启

vim /lib/systemd/system/kafka.service

刷新配置

systemctl daemon-reload

开机自启动

systemctl enable kafka.service

[Unit]
Description=Zookeeper service
After=network.target

[Service]
Type=simple
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/jdk1.8.0_231/bin"
User=root
Group=root
ExecStart=/opt/kafka_2.13-2.4.1/bin/zookeeper-server-start.sh /opt/kafka_2.13-2.4.1/config/zookeeper.properties
ExecStop=/opt/kafka_2.13-2.4.1/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

7.9 自启动后检测

/opt/kafka_2.13-2.4.1/bin/ zookeeper-shell.sh kafka-1:2181

8 zookeeper安装(如果想自己单独安装的话)

官方首页: http://zookeeper.apache.org/
下载地址: https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz

下面的操作步骤在三台机器上都需要做一遍

8.1 解压安装包

tar -zxvf apache-zookeeper-3.6.0-bin.tar.gz -C /usr/loc

在这里插入图片描述

8.2 配置zookeeper

cd /usr/local/apache-zookeeper-3.6.0-bin/conf/
mv zoo_sample.cfg zoo.cfg

Zoo.cfg里面修改zookeeper数据存放位置

dataDir=/data/zookeeper

在这里插入图片描述

在文件最后添加其他节点信息(注意:每行后面不能有空格,否则启动出错)

server.1=kafka-1:12888:13888
server.2=kafka-2:12888:13888
server.3=kafka-3:12888:13888

在这里插入图片描述

kafka-1：代表zookeeper的主机名
12888端口：代表访问Zookeeper的端口
13888端口：代表重新选举leader的端口

8.3 创建myid文件

mkdir /data/zookeeper
echo 1 /> /data/zookeeper/myid

以上指令在三台机器上都需要做,根据自己的ID,写入不同的myid文件,例如kafka-1写入1,kafka-2写入2,以此类推
8.4 配置环境变量
在/etc/profile中增加环境变量配置
#zookeeper environment

export ZOOKEEPER_HOME=/usr/local/apache-zookeeper-3.6.0-bin/
export PATH=$ZOOKEEPER_HOME/bin:$PATH

在这里插入图片描述

source /etc/profile

8.5 启动

8.6 直接测试启动

建议调试期间用测试启动,这样能够直观的看到返回的启动信息

/usr/local/apache-zookeeper-3.6.0-bin/bin/zkServer.sh start-foreground

8.7 正常后台启动

测试启动没有问题后,可以使用下列命令来正常启动

/usr/local/apache-zookeeper-3.6.0-bin/bin/zkServer.sh start

8.8 设置开机启动

vim /lib/systemd/system/zookeeper.service

[Unit]
Description=Zookeeper service
After=network.target

[Service]
Type=simple
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/jdk1.8.0_231/bin"
User=root
Group=root
ExecStart=/usr/local/apache-zookeeper-3.6.0-bin/bin/zkServer.sh start
ExecStop=/usr/local/apache-zookeeper-3.6.0-bin/bin/zkServer.sh stop
Restart=on-failure

[Install]
WantedBy=multi-user.target

刷新配置

systemctl daemon-reload

加入开机启动

systemctl enable zookeeper.service

启动zookeeper
systemctl start zookeeper.service

把这个流程在是三个机器上都进行设置,然后都进行reboot,启动后确认一下三台机器的当前状态

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
说明kafka-1在自动选举中作为leader,其他两个是follower,启动成功

RanGe*
关注
专栏目录
Kafka安装手册（Linux）
12-22
Kafka安装手册
Kafka安装手册
qq_36807862的博客
08-08 493
  KafKa安装： kafka下载地址：http://kafka.apache.org/downloads.html 解压命令：tar zxvf kafka_2.10-0.9.0.1.tgz -C /usr/local 改名命令：mv kafka_2.10-0.9.0.1/ kafka 进入解压后的目录，修改server.properties文件： vim /usr/local/ka...
摸鱼大数据——Kafka——Kafka的集群搭建
最新发布
weixin_65694308的博客
07-12 944
2- 分发之后，记得要修改每个server.properties的 id 和 监听地址。(5) 给start-kafka.sh、stop-kafka.sh配置执行权限。5- 启动的时候server.properties中路径，不要写错了。（2）准备slave配置文件，用于保存要启动哪几个节点上的kafka。（1）在 节点1 中创建 /export/onekey 目录。# 2.再在三台集群上都输入以下命令,启动Kafka。# 再启动Kafka。# 2.只在node1上一键启动所有kafka服务。
kafka集群部署手册
weixin_30699443的博客
02-15 142
一、 准备 1、 硬件 三台装好RHEL6.7_x64的x86服务器，机器名如下 kafka01 kafka02 kafka03 2、 软件 jdk-7u80-linux-x64.rpm kafka_2.10-0.10.0.0.tgz 3、 zookeeper kafka需用到zookeeper，开始安装前先安装好zookeeper，参照《01zookeeper集群部署...
Kafka安装手册--亲测版
toking1979的博客
03-04 108
  Kafka安装手册   1.在安装Kafka集群之前，保证Zookeeper集群正常运行。 在集群每台机器的控制台上运行以下命令： bin/zkServer.shjcd ${ZOOKEEPER_HOME} bin/zkServer.sh start   返回结果如下，则说明Zookeeper正常启动。 2803 Jps 2782 QuorumPeerM...
Centos ZooKeeper集群部署指南
奔腾游子
02-19 161
1、ZooKeeper简介 ZooKeeper是一个开源的分布式应用程序协调服务，是Google的Chubby一个开源的实现。ZooKeeper为分布式应用提供一致性服务，提供的功能包括：分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）、分布式锁（Distributed Lock）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。 ZooKeeper本身可以以单机模式安装运行，不过它
redis zookeeper kafka集群安装手册.doc
11-03
redis zookeeper kafka集群安装手册
Kafka集群部署手册1
08-08
【Kafka集群部署手册1】 本手册主要涵盖了Kafka集群的部署步骤，包括Zookeeper和Kafka组件的配置。Kafka是一种高吞吐量的分布式发布订阅消息系统，而Zookeeper是Apache的一个分布式协调服务，它在Kafka集群中扮演着...
kafka集群部署文档(部署，运维，FAQ)
06-27
### Kafka集群部署与运维知识点详解 #### 一、Kafka概览 Kafka是一种高性能的分布式消息系统，具有以下特点： - **数据持久性**：Kafka通过高效的磁盘数据结构来实现消息的持久化存储，即使面对大量数据也能保持...
KafKa安装使用手册.docx
12-26
Kafka 安装使用手册 Kafka 是一种高吞吐量、可扩展的分布式消息队列系统，广泛应用于大数据、流式计算、实时数据处理等领域。本文档将详细介绍 Kafka 的安装、配置和使用。 一、Kafka 安装 1. 下载 Kafka Kafka ...
Zookeeper和kafka集群搭建手册
10-21
### Zookeeper和Kafka集群搭建知识点详解 #### 一、基础知识概述 - **Zookeeper**：分布式协调服务，主要用于维护和监控共享数据的状态变化，从而达到集群之间进行数据同步的目的。 - **Kafka**：分布式流处理平台...
介绍kafka及kafka集群安装
11-21
本文档详细介绍了kafka的流程，及kafka集群的安装，赋详细安装步骤
kafka操作指南
weixin_42059968的博客
02-17 1233
kafka相关操作
安装集群kafka
qq_58476985的博客
11-07 1711
（4）、查看server.properties配置中的broker.id，是否与myid和zoo.cfg中配置的server.id一致，查看一下zookeeper的路径：/home/hadoop/software/zookeeper-3.4.5（配置环境时会用到）kafka的路径：/home/hadoop/software/kafka_2.11-2.3.1（下面配置环境需要用到）保存一下路径：/home/hadoop/software/kafka_2.11-2.3.1/config。
Kafka 安装配置及快速入门
weixin_34007291的博客
01-09 753
2019独角兽企业重金招聘Python工程师标准>>> ...
kafka3.1集群部署
大伟的博客
04-07 2309
kafka依赖zookeeper负责broker的注册，所以需要提前安装好zookeeper 1、安装zookeeper集群 https://blog.csdn.net/xiaohanshasha/article/details/124008308 2、安装kafka 1.下载 Apache Kafka 2.配置 #解压 tar -zxvf kafka_2.13-3.1.0.tgz #重命名 mv kafka_2.13-3.1.0 kafka 在kafka目录下创建logs文件夹.
Kafka安装（实操+两种集群模式）
Jery.Peng的博客
05-23 1948
下载Kafka：Apache Kafka 解压Kafka tgz包 授权：chmod 777 kafka_2.12-3.1.0.tgz 解压：tar -zxvf kafka_2.12-3.1.0.tgz 重命名：mv kafka_2.12-3.1.0 kafka Kafka + Zookeeper 模式 修改Kafka的server.properties文件： cd kafka/config/ vim server.properties 节点ID，全局唯一：broker.id=
Kafka集群部署（手把手部署图文详细版）
CloudJourney的博客
07-04 3416
在node02上执行以下命令，拷贝kafka_2.11-0.10.1.1到node03、4的“/usr/local”目录下。在node02、3、4上执行以下命令，都可以查看到上一步骤创建的topic主题。添加完成后，执行命令source /etc/profile，使环境变量生效。添加完成后，执行命令source /etc/profile，使环境变量生效。该命令执行后，就会消费topic数据，此窗口不要再做其他操作，不要关闭。在node03或node04上执行命令，创建消费者，模拟目标系统。
kafka配置_kafka的集群搭建、配置详解和Java api、延迟队列的三种思路
weixin_39710462的博客
12-01 346
kafka集群修改kafka中server.properties文件# 集群中配置跟如下相同# broker 编号，集群内必须唯一broker.id=1# host 地址host.name=127.0.0.1# 端口port=9092# 消息日志存放地址log.dirs=/opt/kafka/log# ZooKeeper 地址，多个用,分隔zookeeper.connect=localh...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值