Kafka集群搭建实战

于 2021-08-25 13:56:56 发布
阅读量109 收藏
点赞数
分类专栏： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40073459/article/details/119909729
版权

Kafka集群搭建实战

集群结构：

请添加图片描述
集群环境信息：

192.168.157.130
192.168.157.131
192.168.157.129

Zookeeper集群搭建

  1. 三台机器上均安装JDK（这里采用压缩包的安装方式jdk-8u301-linux-x64.tar.gz）

    xxx:~#tar -zxvf jdk-8u301-linux-x64.tar.gz # 解压文件
xxx:~#mv jdk1.8.0_301 /opt                 # 移动文件至 /opt目录下 
xxx:~#vim /etc/profile                     # 编辑 /etc/profile 文件
# jdk                         
export JAVA_HOME=/opt/jdk1.8.0_301
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=.:${JAVA_HOME}/bin:$PATH
xxx:~#source /etc/profile                   # 用source命令使新加的配置生效
xxx:~#java -version                         # java -version 验证java是否配置成功
java version "1.8.0_301"
Java(TM) SE Runtime Environment (build 1.8.0_301-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.301-b09, mixed mode)

  2. 三台机器上均安装Zookeeper用来搭建集群（这里采用压缩包的安装方式zookeeper-3.4.14.tar.gz）

    • 第一台机器上配置

      xxx:~#tar -zxf zookeeper-3.4.14.tar.gz      # 解压文件
xxx:~#mv zookeeper-3.4.14 /opt              # 移动文件至 /opt 目录下
xxx:~#cd /opt/zookeeper-3.4.14/conf         # 切换目录至 /opt/zookeeper-3.4.14/conf
xxx:/opt/zookeeper-3.4.14/conf#cp zoo_sample.cfg zoo.cfg # 复制 zoo_sample.cfg 配置文件为 zoo.cfg
xxx:/opt/zookeeper-3.4.14/conf#vim zoo.cfg  # 编辑 zoo.cfg
# 设置
dataDir=/var/software/zookeeper/data
# 添加
server.1=192.168.157.130:2881:3881
server.2=192.168.157.131:2881:3881
server.3=192.168.157.129:2881:3881
xxx:/opt/zookeeper-3.4.14/conf#mkdir -p /var/software/zookeeper/data # 创建目录/var/software/zookeeper/data
xxx:/opt/zookeeper-3.4.14/conf#echo 1 > /var/software/zookeeper/data/myid # 写入 1 至 文件
xxx:~#vim /etc/profile                      # 编辑 /etc/profile 文件
# zookeeper
export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export ZOO_LOG_DIR=/var/software/zookeeper/log
xxx:~#source /etc/profile                   # 用 source 命令使配置生效
xxx:~#scp -r /opt/zookeeper-3.4.14/ 192.168.157.131:/opt # 用 scp 命令远程传输文件至指定主机下的指定目录
xxx:~#scp -r /opt/zookeeper-3.4.14/ 192.168.157.129:/opt # 同上

    • 第二台机器上配置

      xxx:~#vim /etc/profile
# zookeeper
export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export ZOO_LOG_DIR=/var/software/zookeeper/log
xxx:~#source /etc/profile
xxx:~#mkdir -p /var/software/zookeeper/data 
xxx:~#echo 2 > /var/software/zookeeper/data/myid

    • 第三台机器上配置

      xxx:~#vim /etc/profile
# zookeeper
export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export ZOO_LOG_DIR=/var/software/zookeeper/log
xxx:~#source /etc/profile
xxx:~#mkdir -p /var/software/zookeeper/data
xxx:~#echo 3 > /var/software/zookeeper/data/myid

    • 启动zookeeper（三台机器均按如下操作）

      xxx:~#zkServer.sh start
xxx:~#zkServer.sh status

Kafka集群搭建

  1. 三台机器上安装Kafka

    • 第一台机器上配置

      xxx:~#tar -zvxf kafka_2.12-1.0.2.tgz
xxx:~#mv kafka_2.12-1.0.2 /opt
xxx:~#scp -r /opt/kafka_2.12-1.0.2/ 192.168.157.131:/opt
xxx:~#scp -r /opt/kafka_2.12-1.0.2/ 192.168.157.129:/opt
xxx:~#vim /etc/profile
# kafka
export KAFKA_HOME=/opt/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA_HOME/bin
xxx:~#source /etc/profile
xxx:~#vim /opt/kafka_2.12-1.0.2/config/server.properties
broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://192.168.157.130:9092
log.dirs=/var/software/kafka/log
zookeeper.connect=192.168.157.130:2181,192.168.157.131:2181,192.168.157.129:2181/myKafka

    • 第二台机器上配置

      xxx:~#vim /etc/profile
# kafka
export KAFKA_HOME=/opt/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA_HOME/bin
xxx:~#source /etc/profile
xxx:~#vim /opt/kafka_2.12-1.0.2/config/server.properties
broker.id=1
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://192.168.157.131:9092
log.dirs=/var/software/kafka/log
zookeeper.connect=192.168.157.130:2181,192.168.157.131:2181,192.168.157.129:2181/myKafka

    • 第三台机器上配置

      xxx:~#vim /etc/profile
# kafka
export KAFKA_HOME=/opt/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA_HOME/bin
xxx:~#source /etc/profile
xxx:~#vim /opt/kafka_2.12-1.0.2/config/server.properties
broker.id=2
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://192.168.157.129:9092
log.dirs=/var/software/kafka/log
zookeeper.connect=192.168.157.130:2181,192.168.157.131:2181,192.168.157.129:2181/myKafka

  2. 启动Kafka（三台机器均按如下操作）

    xxx:~#kafka-server-start.sh /opt/kafka_2.12-1.0.2/config/server.properties

  3. 验证Kafka（查看三台机器的Kafka启动过程中的Cluster ID是否一致）

    请添加图片描述

    • Cluster Id是一个唯一的不可变的标志符，用于唯一标志一个Kafka集群。

    • 该Id最多可以有22个字符组成，字符对应于URL-safe Base64。

    • Kafka 0.10.1版本及之后的版本中，在集群第一次启动的时候，Broker从Zookeeper

      的<Kafka_ROOT>/cluster/id节点获取。如果该Id不存在，就自动生成一个新的。

    xxx:~#zkCli.sh
[zk: localhost:2181(CONNECTED) 2] ls /myKafka/brokers/ids
[0, 1, 2]
[zk: localhost:2181(CONNECTED) 3] get /myKafka/brokers/ids/0
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://192.168.157.130:9092"],"jmx_port":-1,"host":"192.168.157.130","timestamp":"1629859078697","port":9092,"version":4}
cZxid = 0x200000097
ctime = Wed Aug 25 10:37:58 CST 2021
mZxid = 0x200000097
mtime = Wed Aug 25 10:37:58 CST 2021
pZxid = 0x200000097
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x200004838ed000a
dataLength = 200
numChildren = 0
[zk: localhost:2181(CONNECTED) 4] get /myKafka/brokers/ids/1
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://192.168.157.131:9092"],"jmx_port":-1,"host":"192.168.157.131","timestamp":"1629859267652","port":9092,"version":4}
cZxid = 0x20000010d
ctime = Wed Aug 25 10:41:07 CST 2021
mZxid = 0x20000010d
mtime = Wed Aug 25 10:41:07 CST 2021
pZxid = 0x20000010d
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x300004845880007
dataLength = 200
numChildren = 0
[zk: localhost:2181(CONNECTED) 5] get /myKafka/brokers/ids/2
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://192.168.157.129:9092"],"jmx_port":-1,"host":"192.168.157.129","timestamp":"1629859117629","port":9092,"version":4}
cZxid = 0x2000000f8
ctime = Wed Aug 25 10:38:37 CST 2021
mZxid = 0x2000000f8
mtime = Wed Aug 25 10:38:37 CST 2021
pZxid = 0x2000000f8
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x10000751a660004
dataLength = 200
numChildren = 0
wy471x
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka集群调优实战+分布式集群搭建
10-19
Kafka技术实战学习的优选课程，课程内容全程实战，没有拖泥带水，但不包含基础知识的教学，需要同学们先具备一定的Kafka技术基础再进行学习。课程内容包括了Kafka java Consumer实战，Kafka集成框架等。
C51单片机之点亮LED灯
Dunk.Wan
04-05 6420
文章目录C51单片机之点亮LED灯1. 了解普通发光二极管的参数，掌握限流电阻的计算方法。2. 理解单片机最小系统，单片机外围电路，Flash，RAM 和 SFR 这些概念。3. 了解 Keil 的基本用法和单片机编程流程，能够独立完成编程下载等基本操作。3.1 编写单片机程序所需用到的软件是`Keil`，以下则是阐述新建单片机程序的步骤。3.2 程序下载过程如下，注意不同厂商的单片机对应的下载软...
1967 Problem F 数组逆置
fantasydreams的专栏
01-13 324
1967: 数组逆置 时间限制: 1 Sec 内存限制: 32 MB 献花: 70 解决: 60 [献花][花圈][TK题库] 题目描述 输入一个字符串，长度小于等于200，然后将数组逆置输出。 输入 测试数据有多组，每组输入一个字符串。 输出 对于每组输入,请输出逆置后的结果。 样例输入 tianqin 样例输出 niqnait 提示 注意输入的字符串可能
堆
Dunk.Wan
02-21 84
堆的定义与基本操作 堆的数组定义： const int maxn = 100; int heap[maxn] , n = 10;//heap为堆，n为元素个数 向下调整的代码： void downAdjust(int low,int high){ int i = low,j = i * 2; //i为欲调整结点，j为其左孩子 while(j &lt;=...
Android学习之LinearLayout（线性布局）
Dunk.Wan
01-18 199
目录 weight属性解析： LinearLayout设置分割线 特此说明，本篇文章针对基本熟悉相关属性的前提下进行 weight属性解析： 实例一(wrap_content使用情形)： activity_main.xml文件代码 <?xml version="1.0" encoding="utf-8"?> <LinearLayout xmlns:android=...
SDJZUOJ-看电视
WILL的专栏
07-30 1398
http://sdjzu.acmclub.com/index.php?app=problem_title&assignment_id=1016&problem_id=1126 题目描述 暑假到了，小明终于可以开心的看电视了。但是小明喜欢的节目太多了，他希望尽量多的看到完整的节目。 现在他把他喜欢的电视节目的转播时间表给你，你能帮他合理安排吗？ 输入格式 输入包
Kafka集群调优实战+分布式集群搭建-视频教程网盘链接提取码下载 .txt
06-01
课程内容包括了Kafka java Consumer实战，Kafka集成框架，Kafka分布式集群架构，Kafka性能测试实战，Kafka集群监控实战，Kafka用户行为画像，Kafka性能存储优化及如何提高Kafka吞吐量等企业级技术。 视频大小：1.5G
Docker 实战(四) 搭建 kafka集群
01-20
kafka是一个分布式的数据库，所以需要zookeeper作为集群的头部 kafka使用广泛，在大数据处理与分析中作用很大，接下来是根据dockerHub上已有的kafka镜像进行搭建的 资料来源 使用 wurstmeister/zookeeper 和 ...
Spark-Streaming+Kafka+mysql实战示例
12-12
通过该示例，我们可以学习到如何创建Kafka主题、发送消息到Kafka集群、从Kafka集群消费消息，并将消费到的消息保存到MySQL数据库中。这个示例涵盖了从数据源到数据处理和存储的完整流程，可以帮助你理解和应用实时...
大数据分布式集群环境搭建.docx
11-09
centos大数据分布式集群搭建，包含hadoop spark hbase hive solr elasticsearch redis zookeeper rocketmq mongodb mariadb storm kafka docker
九度OJ 1052：找x
weixin_30902251的博客
05-01 301
题目地址：ac.jobdu.com/problem.php?id=1052 题目描述： 输入一个数n，然后输入n个数值各不相同，再输入一个值x，输出这个值在这个数组中的下标（从0开始，若不在数组中则输出-1）。 输入： 测试数据有多组，输入n(1<=n<=200)，接着输入n个数，然后输入x。 输出： 对于每组输入,请输出结果。 样例输入： 21 30 样例输出...
最小生成树
Dunk.Wan
02-23 182
prim算法 伪代码如下： //G为图，一般设成全局 Prim(G,d[]){ 初始化； for(循环n次){ u = 使d[u]最小的还未被访问的顶点的标号; 记u已被访问; for(从u出发能到达的所有顶点v){ if(v未被访问&amp;&amp;以u为中介点使得v与集合s的最短距离d[v]更优){ 将G[u][v]赋值给v与集合S的最短距离d[v];...
【慢慢学算法】：全排列
weixin_30781631的博客
07-11 1098
题目描述： 给定一个由不同的小写字母组成的字符串，输出这个字符串的所有全排列。我们假设对于小写字母有'a' < 'b' < ... < 'y' < 'z'，而且给定的字符串中的字母已经按照从小到大的顺序排列。 输入： 输入只有一行，是一个由不同的小写字母组成的字符串，已知字符串的长度在1到6之间。 输出： 输出这个字符串的所有排列方式，每行一个排列。要求字...
标准I/O库之打开流、读写流和每次一行I/O
Dunk.Wan
02-18 257
##打开流 以下是三个打开一个标准I/O流的函数 #include <stdio.h> FILE *fopen(const char *restrict pathname, const char *restrict type); FILE *freopen(const char *restrict pathname, const char *restrict type, FILE * ...
PAT (Basic Level) Practice 1034 有理数四则运算
Dunk.Wan
01-30 134
                                        1034 有理数四则运算 本题要求编写程序，计算 2 个有理数的和、差、积、商。 输入格式： 输入在一行中按照 a1/b1 a2/b2 的格式给出两个分数形式的有理数，其中分子和分母全是整型范围内的整数，负号只可能出现在分子前，分母不为 0。 输出格式： 分别在 4 行中按照 有理数1 运算符 有理数2 = ...
Android Crash实例分析与解决
Dunk.Wan
01-17 4765
蓝牙连接问题 错误Log如下： --------- beginning of crash 10-21 20:06:31.883 F/libc ( 6709): Fatal signal 6 (SIGABRT), code -6 in tid 6737 (BT Service Call), pid 6709 (droid.bluetooth) 10-21 20:06:31.899 W/h...
系统数据文件和信息之口令文件、阴影口令、组文件以及附属组ID
Dunk.Wan
02-20 313
文章目录口令文件阴影口令组文件附属组ID 口令文件 在<pwd.h>中定义了passwd结构体。以下就是Linux下的该结构体： struct passwd{ char *pw_name; /* username */ char *pw_passwd /*user password */ uid_t pw_uid /* user ID */ gid_t ...
【慢慢学算法】：小白鼠排队
weixin_30516243的博客
07-10 545
题目描述： N只小白鼠(1 <= N <= 100)，每只鼠头上戴着一顶有颜色的帽子。现在称出每只白鼠的重量，要求按照白鼠重量从大到小的顺序输出它们头上帽子的颜色。帽子的颜色用“red”，“blue”等字符串来表示。不同的小白鼠可以戴相同颜色的帽子。白鼠的重量用整数表示。 输入： 多案例输入，每个案例的输入第一行为一个整数N，表示小白鼠的数目。 下面有N行，每行是一只白鼠...
PAT (Advanced Level) Practice 1081 Rational Sum
Dunk.Wan
01-30 117
                                          1081 Rational Sum Given N rational numbers in the form numerator/denominator, you are supposed to calculate their sum. Input Specification: Each input file...
kafka集群搭建 文档
最新发布
01-13
搭建Kafka集群需要按照一定的步骤进行，首先要准备好运行Kafka所需的环境，包括JDK、Zookeeper等。其次，需要下载Kafka的压缩包并解压，然后进行配置文件的修改，如server.properties和zookeeper.properties。接下来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值