F5负载均衡 3 节点 Kafka 集群实验

已于 2023-04-28 11:34:31 修改
阅读量670 收藏 1
点赞数
文章标签： kafka 负载均衡 java linux 运维
于 2023-04-27 11:23:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45109326/article/details/130382100
版权

1.环境配置

主机操作系统IP地址安装软件
kafka1Centos7.5192.168.106.160JDK1.8、zookeeper、kafka
kafka2Centos7.5192.168.106.161JDK1.8、zookeeper、kafka
kafka3Centos7.5192.168.106.162JDK1.8、zookeeper、kafka
F5BIGIP-12.1.6192.168.202.22BIGIP-12.1.6

 2.准备工作

1.关闭防火墙

 kafka1，kafka2，kafka3三台主机均执行以下操作

##关闭防火墙
systemctl stop firewalld
##禁止开机启动
systemctl disable firewalld

2.下载JDK

点击下载JDK:Java Downloads | Oracle

 我选择的是jdk-8u371-linux-x64.rpm

 

 3.关于zookeeper

 本次实验是用的kafka自带zookeeper

 4.下载kafka

 点击下载kafka：https://downloads.apache.org/kafka/3.0.2/kafka_2.12-3.0.2.tgz

 5.下载F5

 点击注册：MyF5 | Login

 然后根据流程注册申请License，然后下载.OVA镜像

 注意下载版本，我这里用的是BIGIP-12.1.6-0.0.9：

 3.环境安装

 1.安装JDK（在三台kafka主机操作）

上传JDK至主机kafka1根目录，然后执行代码安装，完成后验证是否安装成功

##安装JDK
yum install jdk-8u371-linux-x64.rpm

##验证安装成功
java -version

因为是yum安装，不需要自行配置环境变量，主机kafka2跟主机kafka3 相同操作。

 2.安装kafka（在三台kafka主机操作）

 1.创建kafka运行目录，然后将kafka上传至目录解压

##创建文件夹
mkdir /opt/kafka

##将kafka压缩包上传至此目录

##进入此目录并解压
cd /opt/fakfa
tar zxvf kafka_2.12-3.0.2.tgz

2.创建日志保存地址

##创建日志保存地址
mkdir -p /opt/zookeeper-log/{data,log}
mkdir -p /opt/kafka-log/{data,log}

3.修改zookeeper.properties配置文件

##进入配置文件所在目录
cd /opt/kafka/kafka_2.12-3.0.2/config/

##修改配置文件
vi zookeeper.properties

##改为以下内容：

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
# 
#    http://www.apache.org/licenses/LICENSE-2.0
# 
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# the directory where the snapshot is stored.
dataDir=/opt/zookeeper-log/data
dataLogDir=/opt/zookeeper-log/logo
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=0
# Disable the adminserver by default to avoid port conflicts.
# Set the port to something non-conflicting if choosing to enable this
admin.enableServer=false
# admin.serverPort=8080
# 在后面添加这六行
tickTime=2000
initLimit=10
syncLimit=5
server.1=192.168.106.160:2888:3888
server.2=192.168.106.161:2888:3888
server.3=192.168.106.162:2888:3888

  以上步骤三台kafka主机操作配置均相同。

 4.修改server.properties配置文件

##进入配置文件所在目录
cd /opt/kafka/kafka_2.12-3.0.2/config/

##修改配置文件
vi server.properties

kafka1修改为：


###################### Server Basics ###################

# kafka1为0，kafka2为1，kafka3为2，以此类推
broker.id=0

####################### Socket Server Settings ######################

# 填写本机IP地址.
advertised.listeners=PLAINTEXT://192.168.106.160:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

############################# Log Basics #############################

# 填写刚刚创建的日志路径
log.dirs=/opt/fakfa-log

# 分区数写为3
num.partitions=3

num.recovery.threads.per.data.dir=1

############################# Internal Topic Settings  #############################
#副本数改为3
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

############################# Log Flush Policy #############################


############################# Log Retention Policy #############################

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

############################# Zookeeper #############################

# 这里填写刚刚在zookeeper.properties添加的地址，以逗号隔开
zookeeper.connect=192.168.106.160:2181,192.168.106.161:2181,192.168.106.162:2181

zookeeper.connection.timeout.ms=18000

############################# Group Coordinator Settings #############################

group.initial.rebalance.delay.ms=0

 完成后命令行输入以下命令写入myid

echo "1" >/opt/zookeeper-log/data/myid

kafka2修改为：


###################### Server Basics ###################

# kafka1为0，kafka2为1，kafka3为2，以此类推
broker.id=1

####################### Socket Server Settings ######################

# 填写本机IP地址.
advertised.listeners=PLAINTEXT://192.168.106.161:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

############################# Log Basics #############################

# 填写刚刚创建的日志路径
log.dirs=/opt/fakfa-log

# 分区数写为3
num.partitions=3

num.recovery.threads.per.data.dir=1

############################# Internal Topic Settings  #############################
#副本数改为3
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

############################# Log Flush Policy #############################


############################# Log Retention Policy #############################

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

############################# Zookeeper #############################

# 这里填写刚刚在zookeeper.properties添加的地址，以逗号隔开
zookeeper.connect=192.168.106.160:2181,192.168.106.161:2181,192.168.106.162:2181

zookeeper.connection.timeout.ms=18000

############################# Group Coordinator Settings #############################

group.initial.rebalance.delay.ms=0

 完成后命令行输入以下命令写入myid

echo "2" >/opt/zookeeper-log/data/myid

kafka3修改为：


###################### Server Basics ###################

# kafka1为0，kafka2为1，kafka3为2，以此类推
broker.id=2

####################### Socket Server Settings ######################

# 填写本机IP地址.
advertised.listeners=PLAINTEXT://192.168.106.162:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

############################# Log Basics #############################

# 填写刚刚创建的日志路径
log.dirs=/opt/fakfa-log

# 分区数写为3
num.partitions=3

num.recovery.threads.per.data.dir=1

############################# Internal Topic Settings  #############################
#副本数改为3
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

############################# Log Flush Policy #############################


############################# Log Retention Policy #############################

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

############################# Zookeeper #############################

# 这里填写刚刚在zookeeper.properties添加的地址，以逗号隔开
zookeeper.connect=192.168.106.160:2181,192.168.106.161:2181,192.168.106.162:2181

zookeeper.connection.timeout.ms=18000

############################# Group Coordinator Settings #############################

group.initial.rebalance.delay.ms=0

 完成后命令行输入以下命令写入myid

echo "3" >/opt/zookeeper-log/data/myid

4.启动集群

1.启动zookeeper

三台主机均输入以下命令启动

 ##进入kafka目录
cd /opt/kafka/kafka_2.12-3.0.2/
##输入命令启动
bin/zookeeper-server-start.sh config/zookeeper.properties &

 2.启动kafka：

bin/kafka-server-start.sh config/server.properties &

3.输入jps查看是否启动成功

4.测试集群效果

将kafka1作为主机，kafka2跟3作为从机，在kafka1执行下列命令，创建一个test主题并查看

##创建主题
bin/kafka-topics.sh --bootstrap-server 192.168.106.160:9092 --create --topic test --partitions 1
##查看主题
bin/kafka-topics.sh --bootstrap-server 192.168.106.160:9092 --list

创建完成后，测试消息的订阅和发送功能：

# 在kafka1 上发布消息
bin/kafka-console-producer.sh --broker-list  192.168.106.160:9092 --topic test
 
 
#  在kafka2 上接收
bin/kafka-console-consumer.sh --bootstrap-server 192.168.106.161:9092 --topic test --from-beginning

 
 
#  在kafka2 上接收
bin/kafka-console-consumer.sh --bootstrap-server 192.168.106.162:9092 --topic test --from-beginning

实现效果： 

 

 

 

5.负载均衡实现 

     负载均衡的安装等流程在我以前的文章有所提及，再次篇不再赘述，如有不懂的朋友们可以评论或者私信小编，小编看到会帮助其解答疑惑。

 1.登陆后配置vlan

 2.创建完成后添加IP

 3.添加完IP后配置pools

 

 配置完是这样

 4.然后去配置virtual servers

 

 下拉修改，然后提交即可。

 5.保存后点击你新建virtual servers的名字进入配置，然后点击Resources，进入后将其添加至pools。至此负载均衡已经配置完成

6.测试负载均衡效果 

 我在virtual servers添加的虚拟ip是192.168.106.164，下面测试我将用此IP进行展示。

# 在kafka1 上发布消息
bin/kafka-console-producer.sh --broker-list  192.168.106.164:9092 --topic test
 
 
#  在kafka2 上接收
bin/kafka-console-consumer.sh --bootstrap-server 192.168.106.164:9092 --topic test --from-beginning

 
 
#  在kafka2 上接收
bin/kafka-console-consumer.sh --bootstrap-server 192.168.106.164:9092 --topic test --from-beginning

 可以看到现在将收发消息的ip都换成了192.168.106.164，并且现在也不分主从，三台主机随便都可以做收发端，下面是效果展示

 7.总结

 此次实验已经完美结束了，中间也有很多小问题，不过到最后都完美解决了，上述就是全部的实验流程，大家如果有什么不懂的可以留言或者私信小编，小编看到后会第一时间给大家解答。

十八里铺的胖乞丐
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka集群配置样例_3节点_源码
12-28
经过Linux上配置测试。3节点集群。重点看一下config目录下server.properties文件的zookeeper.connect配置
f5负载均衡器
Li18810710298的博客
03-28 2138
负载均衡（又称为负载分担），英文名称为LoadBalance，其意思就是将负载（工作任务）进行平衡、分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。负载均衡设备不是基础网络设备，而是一种性能优化设备。对于网络应用而言，并不是一开始就需要负载均衡，当网络应用的访问量不断增长，单个处理单元无法满足负载需求时，网络应用流量将要出现瓶颈时，负载均衡才会起到作用。
haproxy反代负载均衡
weixin_34197488的博客
05-27 125
haproxy是用于实现作为后端反代以实现负载均衡器。实现负载均衡有多种方案：可在tcp层即四层和应用层即七层实现负载均衡：四层：lvs也是工作在四层的；七层：nginx、ats等多种软件工具；haproxy域lvs相比，调度能力肯定是不如lvs，因为lvs工作在内核空间，与后端real server通信时，没有套接字数量和连接的限制，可以调度海量客户端的请求；而haprox...
Nginx反向代理、负载均衡、动静分离与集群搭建
cj1561435010的博客
08-01 398
一、Nginx 1、Nginx简介 2、安装前置依赖库 yum install openssl-devel yum install pcre-devel yum install zlib-devel 3、安装Nginx wget http://nginx.org/download/nginx-1.16.1.tar.gz # 解压文件 tar -zxvf nginx-1.16.1.tar.gz cd nginx-1.16.1.tar.gz # 进行编译并指定安装的位置 ./
Nginx反向代理与负载均衡与504错误
最新发布
weixin_45817985的博客
11-16 551
Nginx反向代理与负载均衡与504错误
基于 KeepAlived + HAProxy 搭建 RabbitMQ 高可用负载均衡集群
MaXmsx的博客
10-07 169
MQ是消息队列（Message Queue）的简称。它是一种用于在应用程序之间传递消息的中间件技术。MQ通过提供可靠的消息传递机制，实现了不同应用程序之间的解耦和异步通信。在MQ系统中，消息发送者将消息发送到一个队列中，而消息接收者则从队列中获取消息进行处理。这种方式可以实现消息的可靠传递、消息的持久化存储、消息的顺序性等特性。常见的MQ系统有RabbitMQ、Apache Kafka、ActiveMQ等。RabbitMQ是一个消息中间件：它接受并转发消息。
4 节点 weblogic 集群结合 F5 实现 4 节点负载均衡
weixin_45109326的博客
04-25 1240
WebLogic 集群是 Oracle WebLogic Server 提供的一种高可用性、可伸缩性和可靠性解决方案。一个 WebLogic 集群由一组 WebLogic 服务器实例组成，这些实例协同工作，以确保在某个节点发生故障时，集群中的其他节点可以顶替其工作，从而实现故障转移。此外，集群还可以将用户请求在各个服务器实例之间分配，以实现负载均衡。以下是一些关键概念：管理服务器：管理服务器负责整个集群的配置管理、监控和维护。
负载均衡【F5】
qq_44750854的博客
05-08 934
【负载均衡F5】（SNAT、端口映射、一对一nat) 1、SNAT （1）解决问题 ①并发量大的时候，访问vs的65535端口不够使用时会关联SNAT（并使用IP地址列表） ②将公网地址转为内网地址来使用。 2、端口映射 （1）原理 3、一对一nat (1)应用场景 ①视频服务一般会使用一对一 如图所示 使用居中 使用居左 使用居右SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：一个具有注脚的文本。1Markdown将文本转换为 HTML。您可以使用渲染LaTeX数学表
F5 LTM 知识点和实验 2-负载均衡基础概念
cnxhsy的博客
07-26 2152
每一个模块都影响其他的模块，他们都是用层级关系的，比如一个node的健康检测为不正常，会直接将所有有关此node的pool member都会被认定为不正常，但是反过来，一个pool member不正常，不会影响node的状态，当pool member所有成员都不正常，pool会被认定为不正常，同时也会影响virtual server的状态。是创建pool池的基础。使用源地址源端口转换的坏处，你会发现，在后端服务器上抓到的包，源地址全是F5的浮动ip，如果你做日志记录或者来源认证，你会变得很麻烦。
数据库系列之F5负载均衡配置
牧羊人的方向
09-15 3630
F5负载均衡是网络控制设备将负载均衡的分发到多个操作单元，本文在虚拟机环境部署F5虚拟机，并配置TCP和兼容mysql协议探测方式连接mysql服务进行测试，以观察不同检测方式的影响。
Kafka集群搭建（3台机）
05-25
网上Kafka集群搭建的教程很多了，但真正能用的不多，本文提供了详细的步骤说明，绝对可用
kafka集群部署、监控
08-13
zookeeper集群部署，kafka集群部署，kafka介绍，topic创建、删除、kafka监控
kafka集群安装
11-21
1. 在根目录创建kafka文件夹（service1、service2、service3都创建） [root@localhost /]# mkdir kafka 2.通过Xshell上传文件到service1服务器：上传kafka_2.9.2-0.8.1.1.tgz到/software文件夹 3.远程copy将...
在linux中搭建kafka集群
08-18
本文档详细描述了如何在linux中搭建kafka集群，适合初中级程序员和运维同事，欢迎下载，我已经按照教程完整的搭建过一遍了，亲测有效
Kafka空消费组延时rebalance(group.initial.rebalance.delay.ms配置)
疯狂的蜗牛
03-02 4682
在0.11之前的版本中，多个consumer实例加入到一个空消费组将导致多次的rebalance，这是由于每个consumer instance启动的时间不可控，很有可能超出coordinator确定的rebalance timeout(即max.poll.interval.ms)，而每次rebalance的代价又相当地大，因为很多状态都需要在rebalance前被持久化，而在rebalance后...
F5 GTM DNS 知识点和实验 1 -F5设备初识
cnxhsy的博客
02-17 1159
第一章：BIG-IP 系统介绍 目标： 阐明基于包转发设计和全代理架构的区别 简述BIG-IP系统主要的组件 阐明应用流量和管理流量的区别 简述管理工具的使用方法 基于包转发和全代理架构的区别（packet-based vs full proxy architeture） 一个网络设备如果是基于包转发的，则他是一个会话流（communication stream）的中间设备，而不是端点（endpoint）的设备，比如，路由器改变了二层报文信息，但是他仅仅只转发了这个数据报文，却无法对更高层级的数据进行解
久壳教你F5负载均衡设备故障怎么处理！
Ben_dumm的博客
04-26 1129
经确认，1.1.1.2与1.1.1.1两台设备互为主备：在故障出现前，1.1.1.2为主机，1.1.1.1为备机；5.对设备进行重装系统，发现设备在完成系统重装后，仍然一直在弹出上述日志，因此可以排除是软件层面的异常，排除第②种可能；Bcm56xxd是控制网口的进程，日志条目一直显示该进程正在重新启动，目前问题基本定位到是由于该进程的异常引起的；经与客户协商，从客户测试环境撤下一台同型号的F5设备，将该设备当作新的备机来使用。管理IP为1.1.1.2的原设备，硬件存在异常，导致所有网口出现问题。
F5学习笔记
weixin_30556161的博客
04-10 1338
1,首先管理地址 https://192.168.1.245 用户名和密码都为admin命令行用户名/密码： root/default 通过液晶面板配置管理口: 1. 在液晶面板上, 按 X 键 2. 使用上下按钮，找到System 选项并按 √ 键 3. 使用上下按钮，找到Management选项并按 √ 键 4. 配置Mgmt IP, Mgmt 掩码,...
kafka集群负载均衡
06-10
Kafka集群的负载均衡可以通过以下几个方面来实现： 1. 增加分区数量：Kafka中的每个主题都可以分为多个分区，而每个消费者组中的消费者可以消费不同的分区。因此，通过增加分区数量，可以将负载均衡在不同的分区上。 2. 增加副本数量：增加副本数量可以使得同一个分区的消息副本分布在不同的broker上，从而避免了单点故障的问题。这也可以提高负载均衡的效果。 3. 使用消费者组：Kafka中的消费者组可以将消费者分组，每个消费者组中的消费者可以消费不同的分区。因此，通过使用消费者组，可以将负载均衡在不同的消费者组上。 4. 增加broker数量：增加broker数量也可以提高Kafka集群的负载均衡效果。因为Kafka集群中的每个broker都可以独立地处理消息，增加broker数量可以分担集群中的负载。 总之，Kafka集群的负载均衡需要从多个方面来考虑，通过合理地设置分区数量、副本数量、消费者组和broker数量等参数，可以达到更好的负载均衡效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值