Kafka 安装部署

最新推荐文章于 2024-06-16 21:18:19 发布
最新推荐文章于 2024-06-16 21:18:19 发布
阅读量1k 收藏 2
点赞数
分类专栏： BigData 文章标签： Kafka 安装部署 Kafka 安装 Kafka 部署 Kafka Docker 安装 Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/achi010/article/details/121961469
版权

文章目录

1、环境说明

1.1、服务器

单机部署

操作系统：CentOS Linux release 7.6.1810 (Core)

操作系统安装包：CentOS-7-x86_64-Minimal-1810.iso

JDK 版本：1.8

JDK 安装包：jdk-8u261-linux-x64.rpm

Kafka 版本：3.0.0

Kafka 安装包：kafka_2.13-3.0.0.tgz


docker 部署

docker 版本：1.13.1

python 版本：3.6.8

pip 版本：21.3.1

docker-compose 版本：1.29.2


集群部署

Zookeeper 版本：3.6.3

Zookeeper 安装包：apache-zookeeper-3.6.3.tar.gz

1.2、客户端

客户端

官网

操作系统：Windows 10（还支持其他的操作系统，详情查看官网）

客户端：kafkatool 2.2

问题：不支持 offset 放在 kafka consumer_offsets 的 customer 操作。不过可以做一些远程操作 创建/删除 topic ，查看集群状态，用起来还是比较方便的。

2、官网

Kafka 官方网站

安装手册（无法网络访问，示例可通过网络访问）

kafka 下载地址

3、单机安装部署

3.1、local 部署

3.1.1、安装 jdk

下载地址

# 安装 jdk
rpm -ivh jdk-8u261-linux-x64.rpm
# 查看版本
java -version

3.1.2、上传服务器&解压

# 解压
tar -xzf kafka_2.13-3.0.0.tgz
# 进入目录
cd kafka_2.13-3.0.0
# 创建日志目录
mkdir logs

3.1.3、修改配置文件，文件位置

cd /root/kafka_2.13-3.0.0/config
vi server.properties

# 集群中每台服务器要设置为唯一不相同的整数（示例为单机不需要修改）
broker.id=0

# 日志目录，也用于 Kafka 存储数据。（可以不更改，如更改 清空数据 需要清空对应的目录）
log.dirs=/root/kafka_2.13-3.0.0/logs

# zookeeper 集群配置（示例为单机不需要修改）
zookeeper.connect=192.168.1.1:2181

# 修改 IP 地址
listeners=PLAINTEXT://192.168.1.1:9092

3.1.4、启动服务

cd /root/kafka_2.13-3.0.0/
# start zookeeper
nohup bin/zookeeper-server-start.sh config/zookeeper.properties >./logs/stdoutzookeeper.log 2>&1 &
# 稍等一下 待 zookeeper 启动，再启动 kafka
# 检查 zookeeper 是否正常启动
jps
ss -ntl|grep 2181
# start kafka
nohup bin/kafka-server-start.sh config/server.properties >./logs/stdoutkafka.log 2>&1 &
# 查看服务是否启动
jps
ss -ntl|grep 9092

# 其他查看服务的命令
ps -ef|grep zookeeper
ps -ef|grep kafka

# 查看端口开放情况
firewall-cmd --zone=public --list-ports
# 开放端口
firewall-cmd --zone=public --add-port=9092/tcp --permanent
# 重启防火墙
systemctl restart firewalld.service

3.1.5、测试

说明：可服务器本地测试，也可通过网络测试。

# create a topic
bin/kafka-topics.sh --create --partitions 1 --replication-factor 1 --topic quickstart-events --bootstrap-server 192.168.1.1:9092
# display usage information
bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server 192.168.1.1:9092

# WRITE SOME EVENTS INTO THE TOPIC (You can stop the producer client with Ctrl-C at any time.)
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server 192.168.1.1:9092
This is my first event
This is my second event

# READ THE EVENTS
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server 192.168.1.1:9092

3.1.6、停止服务

# 停止服务
cd /root/kafka_2.13-3.0.0/
bin/kafka-server-stop.sh
bin/zookeeper-server-stop.sh

# delete any data of your local Kafka environment including any events you have created along the way
rm -rf /tmp/kafka-logs /tmp/zookeeper
# or
rm -rf /root/kafka_2.13-3.0.0/logs/* /tmp/zookeeper

3.2、docker-compose 部署

3.2.1、参考网站

docker 部署 Kafka（网络不通，只能服务器内通过 docker 使用）

docker 部署 Kafka - Scenario 3: Kafka in Docker Compose（网络问题处理方法）

docker-compose 官方文档

3.2.2、安装&启动 docker

# 安装
yum -y install docker
# 启动
systemctl start docker
# 查看版本
docker version

3.2.3、安装 python & 更新 pip & 安装 docker-compose

# 安装 python
yum install python3 -y
# 查看版本
python3 -V
pip3 -V
# 更新 pip
python3 -m pip install --upgrade pip
# 安装 docker-compose
pip3 install docker-compose
# 查看 docker-compose 版本
docker-compose -version

# 新建文件夹
mkdir dockerComposeKafka
cd dockerComposeKafka
# 编辑文件
vi docker-compose.yml

文件 docker-compose.yml（网络不通）

---
version: '3'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:6.2.0
    container_name: zookeeper
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000

  broker:
    image: confluentinc/cp-kafka:6.2.0
    container_name: broker
    ports:
    # To learn about configuring Kafka for access across networks see
    # https://www.confluent.io/blog/kafka-client-cannot-connect-to-broker-on-aws-on-docker-etc/
      - "9092:9092"
    depends_on:
      - zookeeper
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_INTERNAL:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092,PLAINTEXT_INTERNAL://broker:29092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1

docker-compose.yml （可以通过网络访问）

---
version: '3'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:6.2.0
    container_name: zookeeper
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000

  broker:
    image: confluentinc/cp-kafka:6.2.0
    container_name: broker
    ports:
    # To learn about configuring Kafka for access across networks see
    # https://www.confluent.io/blog/kafka-client-cannot-connect-to-broker-on-aws-on-docker-etc/
      - "9092:9092"
    depends_on:
      - zookeeper
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_INTERNAL:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.1:9092,PLAINTEXT_INTERNAL://broker:29092
      LISTENERS: PLAINTEXT://192.168.1.1:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1

3.2.4、启动服务

# 查看端口开放情况
firewall-cmd --zone=public --list-ports
# 开放端口
firewall-cmd --zone=public --add-port=9092/tcp --permanent
# 重启防火墙
systemctl restart firewalld.service

# 第一次需要下载镜像，需要的时间比较久
docker-compose up -d
# 查看日志
docker logs -f broker

3.2.5、测试

# Create a topic
docker exec broker \
kafka-topics --bootstrap-server broker:9092 \
             --create \
             --topic quickstart

# display usage information
docker exec broker \
kafka-topics --bootstrap-server broker:9092 \
             --describe \
             --topic quickstart

# Write messages to the topic
docker exec --interactive --tty broker \
kafka-console-producer --bootstrap-server broker:9092 \
                       --topic quickstart
# Type in some lines of text. Each line is a new message.
this is my first kafka message
hello world!
this is my third kafka message. I’m on a roll :-D
# Ctrl-D to return to your command prompt.

# Read messages from the topic
docker exec --interactive --tty broker \
kafka-console-consumer --bootstrap-server broker:9092 \
                       --topic quickstart \
                       --from-beginning

# Stop the Kafka broker
docker-compose down

# 强制停止并删除容器（异常情况）
docker rm -f broker zookeeper

4、集群安装

说明：集群中只要有半数以上节点存活，集群就能正常服务。因此，集群最少需要 3 台服务器。（2台服务器组成的集群，其中1台宕机，集群则会宕机了。3台服务器组成的集群，其中1台宕机，集群仍可正常服务。）

说明：没有做集群优化，仅安装部署。

首先确定 Kafka 对应的 Zookeeper 的版本。/root/kafka_2.13-3.0.0/libs 中可以看到 zookeeper-3.6.3.jar 文件。说明 Kafka 3.0.0 对应的 Zookeeper 版本为 3.6.3 。

4.1、Zookeeper 集群安装

说明：只存储集群信息，不存储offset，offset 放在 kafka consumer_offsets。（官方推荐）

Zookeeper 官网

Zookeeper 下载

安装步骤可参考之前的文章。

需要注意：Zookeeper 集群安装步骤，除 myid 中写入的数字不同，其他操作 3台服务器相同即可。

安装 jdk

JDK 下载地址

# 安装 jdk
rpm -ivh jdk-8u261-linux-x64.rpm
# 查看版本
java -version

上传文件&解压

mkdir /opt/module
# 解压
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz -C /opt/module/

修改配置

cd /opt/module/apache-zookeeper-3.6.3-bin
mkdir zkData
# 配置服务器编号（唯一标识）
cd zkData
touch myid
vi myid
# 写入唯一标识（数字）

# 配置
cd /opt/module/apache-zookeeper-3.6.3-bin/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

zoo.cfg 中需要修改的内容

dataDir=/opt/module/apache-zookeeper-3.6.3-bin/zkData
# server.A=B:C:D
# A 是一个数字，表示这个是第几号服务器
# B 是这个服务器的 IP 地址
# C 是这个服务器与集群中的 Leader 服务器交换信息的端口
# D 是万一服务器集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通讯的接口
server.1=192.168.1.1:2888:3888
server.2=192.168.1.2:2888:3888
server.3=192.168.1.3:2888:3888

开放端口

# 查看端口开放情况
firewall-cmd --zone=public --list-ports
# 开放端口
firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent
# 重启防火墙
systemctl restart firewalld.service

启动服务

cd /opt/module/apache-zookeeper-3.6.3-bin/
bin/zkServer.sh start
# 查看是否启动
jps
ss -ntl|grep 2181
# 查看状态（Mode: leader 或 Mode: follower）
bin/zkServer.sh status

# 启动客户端
bin/zkCli.sh
# 查看目录下的文件
ls /
# 退出客户端
quit

# 停止服务
bin/zkServer.sh stop

4.2、Kafka 集群安装

需要注意：Kafka 集群安装步骤，除 broker.id 、listeners 不同，其他操作 3台服务器相同即可。

4.2.1、上传服务器&解压

# 解压
tar -xzf kafka_2.13-3.0.0.tgz
# 进入目录
cd kafka_2.13-3.0.0
# 创建日志目录
mkdir logs

4.2.2、修改配置文件，文件位置

cd /root/kafka_2.13-3.0.0/config
vi server.properties

server.properties 中需要修改的内容

# 集群中每台服务器要设置为唯一不相同的整数
broker.id=0

# 日志目录，也用于 Kafka 存储数据。（可以不更改，如更改 清空数据 需要清空对应的目录）
log.dirs=/root/kafka_2.13-3.0.0/logs

# 配置 IP 地址
listeners=PLAINTEXT://192.168.1.1:9092

# zookeeper 集群配置
zookeeper.connect=192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181

开放端口

# 查看端口开放情况
firewall-cmd --zone=public --list-ports
# 开放端口
firewall-cmd --zone=public --add-port=9092/tcp --permanent
# 重启防火墙
systemctl restart firewalld.service

4.2.3、启动服务

cd /root/kafka_2.13-3.0.0/
# start kafka
nohup bin/kafka-server-start.sh config/server.properties >./logs/stdoutkafka.log 2>&1 &
# 查看服务是否启动
jps -l
ss -ntl|grep 9092

# 其他查看服务的命令
ps -ef|grep kafka

4.2.4、测试

通过 客户端 kafkatool 或者相关监控软件，可以看到 3 台服务器形成了一个 Kafka 集群。

4.2.5、停止服务

# 停止服务
cd /root/kafka_2.13-3.0.0/
bin/kafka-server-stop.sh

# delete any data of your local Kafka environment including any events you have created along the way
rm -rf /tmp/kafka-logs
# or
rm -rf /root/kafka_2.13-3.0.0/logs/*

5、总结

单机本地部署、Docker 部署（不需要网络访问），按照官网的方式即可。
通过 Docker 部署并需要网络访问的过程中，稍微曲折一点，参考文档稍微少一点。
集群部署需要掌握 Zookeeper 的集群部署方式。

achi010
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka安装部署
weixin_44294381的博客
08-22 163
Title 1.zookeeper安装部署 zookeeper使用的版本为3.5.5 http://zookeeper.apache.org/releases.html 下载文件时注意：下载bin.tar.gz文件 1.1踩坑 踩坑：第一次下载成了tar.gz包，启动不成功，各种百度排错。 查看日志报错：错误: 找不到或无法加载主类org.apache.zookeeper.server.qu...
kafka安装部署
m0_46192647的博客
03-11 4万+
一、安装kafka 下载kafka两种方式 （1）、手动下载 下载地址：Apache Kafka （2）、也可以用命令下载（直接下载到服务器哦！）： 将安装包下载到/opt/monitor/kafka文件夹下面 下载命令： wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz 手动下载移动到/opt/monitor/kafka目录下也可以 二、解压kafka tar -xzvf kafk
Kafka集群部署详解
最新发布
Wu 小杰的博客
06-16 1309
1）kafka定义Kafka 被称为下一代分布式消息系统，由 Scala 和 Java编写，是非营利性组织ASF(Apache Software Foundation)基金会中的一个开源项目，比如:HTTP Server、Tomcat、Hadoop、ActiveMQ等开源软件都属于 Apache基金会的开源软件，类似的消息系统还有RabbitMQ、ActiveMQ、ZeroMQ。Kafka用于构建实时数据管道和流应用程序。它具有水平可伸缩性，容错性，快速性，可在数千家组织中同时投入生产协同工作。
一、kafka安装部署
热门推荐
panchang199266的博客
08-27 4万+
Step 1: 下载代码 你可以登录Apache kafka 官方下载。 http://kafka.apache.org/downloads.html Step 2: 启动服务 运行kafka需要使用Zookeeper，所以你需要先启动Zookeeper，如果你没有Zookeeper，你可以使用kafka自带打包和配置好的Zookeeper。 //这是前台启动，启动以后，当前就无法进行其...
【Apache KafKa系列之一】KafKa安装部署
Jonathan.Wei的专栏
01-10 2万+
kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。 卡夫卡的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中
kafka部署安装
weixin_45568391的博客
03-04 723
kafka是一个分布式的消息队列系统
kafka 安装 部署 实用
05-31
### Kafka安装与部署详解 #### 一、Kafka简介 Apache Kafka是一款开源的消息队列中间件，主要用于构建实时数据管道以及流式应用。它能够处理大量实时数据，并且具有高吞吐量、低延迟等特点。Kafka的核心概念包括...
Kafka安装部署与Java调用.zip
03-01
本资料主要涵盖了Kafka的安装部署以及Java API的调用方法，分为单机版和集群版两种环境。 ### Kafka安装部署 #### 单机版安装 1. **下载**: 首先，你需要从Apache Kafka的官方网站下载最新版本的Kafka。确保下载与...
Kafka安装部署.docx
08-04
至此，一个简单的Kafka部署及测试流程已完成。在实际应用中，可能还需要配置多个broker以实现高可用，或者使用Flume等工具与Kafka集成，实现数据的持续摄入。同时，Kafka与Hadoop等大数据生态组件的整合，使得它在大...
Kafka安装部署 for Mac or Linux
01-07
以下是单节点部署 1）解压 解压到指定文件夹 tar -zxvf kafka_2.11-0.9.0.0.tgz -C ~/programming/ 2）配置环境变量 编辑~/.bash_profile 文件 vi ~/.bash_profile 在文件中添加 export KAFKA_HOME=/Users/...
Kafka安装与部署指南
07-19
**Kafka安装与部署指南** Apache Kafka是一款分布式流处理平台，由LinkedIn开发并贡献给了Apache软件基金会。它被广泛用于构建实时数据管道和流应用程序，能够处理大量的实时数据。Kafka以其高吞吐量、持久化、容错...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值