基于JDK1.8的Kafka集群搭建

最新推荐文章于 2024-05-15 03:26:13 发布
最新推荐文章于 2024-05-15 03:26:13 发布
阅读量635 收藏
点赞数
分类专栏： MQ 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lossdate/article/details/118061066
版权

一、环境配置

  1. 三台Linux，安装拥有三个节点的Kafka集群
    nodeB(192.168.200.139)
    nodeC(192.168.200.140)
    nodeD(192.168.200.141)
  2. 分别配置hosts
    192.168.200.139 nodeB
    192.168.200.140 nodeC
    192.168.200.141 nodeD
  3. 版本
    jdk -> 1.8(jdk-8u261-linux-x64.rpm)
    zookeeper -> 3.4.14(zookeeper-3.4.14.tar.gz)
    kafka -> 2.12-1.0.2(kafka_2.12-1.0.2.tgz)

二、JDK1.8安装

  1. nodeBCD安装JDK1.8
    #rpm安装JDK 
rpm -ivh jdk-8u261-linux-x64.rpm 
#默认的安装路径是/usr/java/jdk1.8.0_261-amd64
  2. 配置环境变量
    #配置JAVA_HOME 
vim /etc/profile 
#文件最末尾添加
export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64 
export PATH=$PATH:$JAVA_HOME/bin
  3. 生效配置
    . /etc/profile
  4. 验证
    java -version

三、Zookeeper集群搭建

nodeBCD都安装Zookeeper，以搭建Zookeeper集群

  1. nodeB解压到/opt目录
    tar -zxf zookeeper-3.4.14.tar.gz -C /opt
  2. nodeB配置zoo.cfg
    cd /opt/zookeeper-3.4.14/conf 
cp zoo_sample.cfg zoo.cfg 
vim zoo.cfg
    zoo.cfg配置
    #设置 
dataDir=/var/lossdate/zookeeper/data 
#添加 
server.1=nodeB:2881:3881 
server.2=nodeC:2881:3881 
server.3=nodeD:2881:3881
  3. nodeB基本目录和文件创建
    mkdir -p /var/lossdate/zookeeper/data 
echo 1 > /var/lossdate/zookeeper/data/myid
  4. nodeB配置环境变量
    vim /etc/profile

#添加 
export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14 
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export ZOO_LOG_DIR=/var/lossdate/zookeeper/log
  5. nodeB生效配置
    . /etc/profile
  6. nodeB将/opt/zookeeper-3.4.14复制到nodeC，nodeD
    scp -r /opt/zookeeper-3.4.14/ nodeC:/opt 
scp -r /opt/zookeeper-3.4.14/ nodeD:/opt
  7. nodeC配置
    #配置环境变量
vim /etc/profile

#最末尾添加 
export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14 
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export ZOO_LOG_DIR=/var/lossdate/zookeeper/log

#生效配置
. /etc/profile
#基本目录和文件创建
mkdir -p /var/lossdate/zookeeper/data 
echo 2 > /var/lossdate/zookeeper/data/myid
  8. nodeD配置
    #配置环境变量
vim /etc/profile

#最末尾添加  
export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14 
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export ZOO_LOG_DIR=/var/lossdate/zookeeper/log

#生效配置
. /etc/profile
#基本目录和文件创建
mkdir -p /var/lossdate/zookeeper/data 
echo 3 > /var/lossdate/zookeeper/data/myid
  9. 启动
    #在nodeBCD上启动Zookeeper
zkServer.sh start
#在nodeBCD上查看Zookeeper的状态
zkServer.sh status
#可以看到一个Leader和两个Follower

四、Kafka集群搭建

  1. 解压Kafka到/opt
    tar -zxf kafka_2.12-1.0.2.tgz -C /opt
  2. nodeBCD配置环境变量
    vim /etc/profile
#末尾追加
export KAFKA_HOME=/opt/kafka_2.12-1.0.2 
export PATH=$PATH:$KAFKA_HOME/bin
  3. nodeBCD生效配置
    . /etc/profile
  4. nodeB配置 server.properties
    vim /opt/kafka_2.12-1.0.2/config/server.properties

#配置
broker.id=0 
listeners=PLAINTEXT://:9092 
advertised.listeners=PLAINTEXT://nodeB:9092 
log.dirs=/var/lossdate/kafka/kafka-logs 
zookeeper.connect=nodeB:2181,nodeC:2181,nodeD:2181/myKafka 
#其他使用默认配置
  5. nodeB复制到nodeC和nodeD
    scp -r /opt/kafka_2.12-1.0.2/ nodeC:/opt 
scp -r /opt/kafka_2.12-1.0.2/ nodeD:/opt
  6. nodeC配置 server.properties
    vim /opt/kafka_2.12-1.0.2/config/server.properties

#配置
broker.id=1 
listeners=PLAINTEXT://:9092 
advertised.listeners=PLAINTEXT://nodeC:9092 
log.dirs=/var/lossdate/kafka/kafka-logs 
zookeeper.connect=nodeB:2181,nodeC:2181,nodeD:2181/myKafka 
#其他使用默认配置
  7. nodeD配置 server.properties
    vim /opt/kafka_2.12-1.0.2/config/server.properties

#配置
broker.id=2 
listeners=PLAINTEXT://:9092 
advertised.listeners=PLAINTEXT://nodeD:9092 
log.dirs=/var/lossdate/kafka/kafka-logs 
zookeeper.connect=nodeB:2181,nodeC:2181,nodeD:2181/myKafka 
#其他使用默认配置
  8. nodeBCD分别启动
    kafka-server-start.sh /opt/kafka_2.12-1.0.2/config/server.properties

#或者后台启动
kafka-server-start.sh -daemon /opt/kafka_2.12-1.0.2/config/server.properties
  9. 验证
    1）查看Cluster Id是否一致
    在这里插入图片描述
    2）查看zookeeper上每个broker的信息
    zkCli.sh
get /myKafka/brokers/ids/0 
get /myKafka/brokers/ids/1
get /myKafka/brokers/ids/2
    在这里插入图片描述

五、监控度量指标

  1. nodeBCD Kafka开启Jmx端口
    vim /opt/kafka_2.12-1.0.2/bin/kafka-server-start.sh

#追加
export JMX_PORT=9581
    在这里插入图片描述
  2. nodeBCD 重启kafka
    kafka-server-stop.sh
kafka-server-start.sh /opt/kafka_2.12-1.0.2/config/server.properties
  3. 验证
    ss -nelp | grep 9581
    在这里插入图片描述
  4. 使用JConsole链接JMX端口
    windows: cmd -> jconsole
    在这里插入图片描述
    未设置用户名和密码，所以无需输入用户名和密码
    在这里插入图片描述

六、Kafka Eagle 监控工具

  1. nodeBCD开启JMX
    上面的模块五已开启过，则可以跳过
    vim /opt/kafka_2.12-1.0.2/bin/kafka-server-start.sh

#追加
export JMX_PORT=9581
    nodeBCD 重启kafka
    kafka-server-stop.sh
kafka-server-start.sh /opt/kafka_2.12-1.0.2/config/server.properties
  2. 下载kafka-eagle
    wget http://pkgs-linux.cvimer.com/kafka-eagle.zip
  3. 配置kafka-eagle
    unzip kafka-eagle.zip
cd kafka-eagle/kafka-eagle-web/target
mkdir -p test
cp kafka-eagle-web-2.0.1-bin.tar.gz test/
tar xf kafka-eagle-web-2.0.1-bin.tar.gz
cd kafka-eagle-web-2.0.1
  4. 配置环境变量
    vim /etc/profile

export KE_HOME=/root/kafka-eagle/kafka-eagle-web/target/test/kafka-eagle-web-2.0.1
export PATH=$PATH:$KE_HOME/bin
  5. 生效配置
    . /etc/profile
  6. 配置 system-config.properties
    cd conf/
vim system-config.properties

#修改
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=nodeB:2181,nodeC:2181,nodeD:2181/myKafka
kafka.eagle.url=jdbc:sqlite:/root/hadoop/kafka-eagle/db/ke.db
  7. 创建目录
    mkdir -p /root/hadoop/kafka-eagle/db
  8. kafka-run-class.sh 配置
    #nodeBCD kafka-run-class.sh 配置
vim /opt/kafka_2.12-1.0.2/bin/kafka-run-class.sh 

#第一行添加
JMX_PORT=9581
  9. 启动
    #启动kafka
kafka-server-stop.sh
kafka-server-start.sh -daemon /opt/kafka_2.12-1.0.2/config/server.properties
#启动Kafka Eagle
ke.sh start
  10. 访问
    地址：http://192.168.200.139:8048
    账号：admin
    密码：123456
Lossdate
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jdk1.8+kafka3.2 linux版本
08-03
适合搭建kafka环境所需要的jdk1.8linux版本，以及kafka3.2版本。
linux环境安装Kafka最新版本 jdk1.8
Gblfy_Blog
08-07 985
文章目录一、kafaka下载1. kafaka下载2. 解压3. 配置4. 编写启动脚本5. 编写关闭脚本6. 赋予脚本可执行权限7. 脚本使用案例 一、kafaka下载 kafka官网地址： http://kafka.apache.org/downloads 1. kafaka下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz 2. 解压 tar –zxvf /kafka_2.13-2
网络安全最新Kafka-配置Kerberos安全认证(JDK8、JDK11)_kafka kerberos认证，2024年最新靠着这份190页的面试资料
最新发布
2401_84264727的博客
05-15 402
对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。，朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》，可以扫描下方二维码领取（如遇扫码问题，可以在评论区留言领取哦）~2、keytab 文件（kafka.service.keytab）从 Kerberos 服务器上拷贝到目标机器 或 找运维人员要一份。从 Kerberos 服务器上拷贝到目标机器 或 找运维人员要一份。还有大家最喜欢的黑客技术。
Java简单整合Kafka实现生产者和消费者
叶梦
03-25 1634
1 准备 此处准备只做说明，具体准备可查阅相关资料实现 （1）准备zookeeper服务，可以是集群，也可以是单机： https://blog.csdn.net/qq_15092079/article/details/105079769； （2）准备kafka服务，可以是集群，也可以是单机： https://blog.csdn.net/qq_15092079/article/detail...
kafka适配Java jdk版本
Mr青青子衿
12-24 5780
ds sdf asd
kafka-manager安装
remainsu的博客
08-14 262
一、环境准备 操作系统：Centos6.5 kafka-manager版本：1.3.3.7 sbt版本：0.13.15 zookeeper版本：3.4.10 kafka版本：2.10-0.8.2.1 jdk版本：1.8.0_40 机器：machine_1：172.16.8.101 二、具体过程此处暂时省略hosts、ssh免密码登陆、jdk的配置注意：此版本kafka-manager要求jdk必须为
Kafka集群搭建1
08-08
【Kafka集群搭建详解】 Apache Kafka是一个分布式流处理平台，常用于实时数据处理和消息传递。本教程将详细介绍如何在CentOS 6.5环境下搭建Kafka集群，使用的版本为kafka_2.10-0.10.0.0，依赖JDK 1.8.0_172。集群将...
jdk+kafka.zip
07-04
开发者可以使用这些文件在本地环境中搭建一个Kafka集群，并使用Java编写生产者和消费者程序来发布和消费消息。 为了正确使用这个压缩包，用户需要按照以下步骤操作： 1. 解压“jdk+kafka.zip”。 2. 安装JDK 1.8，...
kafka集群.pdf
10-07
Apache Kafka 是一个分布式流...总之，Kafka 集群部署涉及多台服务器的协同工作，包括 ZooKeeper 集群的搭建、Kafka 服务的配置以及系统服务化。正确配置和维护这些组件对于构建稳定、高效的实时数据处理平台至关重要。
kafka与storm集群环境的安装步骤详解
08-28
### 一、Kafka集群环境搭建 1. **JDK安装**：Kafka运行需要JDK1.8或更高版本。首先，确保系统中已卸载旧版本的Java（如OpenJDK），并安装Oracle JDK。下载JDK后，将其解压缩并移动到`/opt/java`目录下，并更新`/etc...
大数据kafka+zookeeper+jdk1.8配置详解-Linux
qq_37430469的博客
08-02 637
上一篇文章详细解释了大数据之并发环境的安装(jdk1.8,zookeeper),这章我们来讲kafka如何安装, 如果要启用kafka,必须先要安装jdk环境,同时还要安装zookeeper环境, 先启动zookeeper环境,在启动kafka 1,kafka安装第一步 本地上传kafka环境或者在线地址下载 2.解压kafka安装包,提前要在/usr/local/目录下新建一个 mkdir server 文件目录用户存放解压后的kafka tar -xvf kafka_2.12-2.3.0.tgz -C
karaf使用配置文档
03-21
karaf运行环境 karaf内置命令 karaf骨架使用 bundle、feature开发及部署流程 maven私服搭建
Kafka 2.9 版本 jdk1.7+
04-10
大数据 消息队列 Kafka 2.9 版本 jdk1.7+ 解压后直接使用
kafka客户端实现---java版本
热门推荐
直到世界的尽头
10-30 1万+
转载请注明出处:kafka客户端java版本 下载jar包 maven版本的直接找到相关的pom配置即可。 https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients/2.0.0 我们这里使用的是2.0.0版本 如下: <!-- https://mvnrepository.com/artifact/org.apache....
kafka java_kafka的Java版本
weixin_42499800的博客
02-12 1301
6.4 Java版本From a security perspective, we recommend you use the latest released version of JDK 1.8 as older freely available versions have disclosed security vulnerabilities. LinkedIn is currently run...
Kafka学习----Java整合Kafka_生产者
https://juejin.cn/user/4248168663101239/posts
07-03 373
Java整合Kafka_生产者一. 消息发送流程二. Java整合Kafka_生产者①. 导入依赖②. 开启Kafka集群③. 异步发送消息，不带回调函数的生产者④. 异步发送消息，带回调函数的生产者⑤. 同步发送消息_生产者⑥. 自定义分区⑦. 生产者使用自定义分区⑧. 总结分区的三种规则测试 一. 消息发送流程 Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程，以及一个线程共享变量—RecordAccumu
Java集成Kafka(读写Kafka实例)
wsjslient的博客
04-03 1766
目录一、写入kafkaLinking DenpencyCode 一、写入kafka Linking Denpency 导入poml依赖： <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11&
Kafka的安装与配置（包括JDK和ZooKeeper）
feizuiku0116的博客
01-05 2864
一、JVM的安装和配置 一、下载JDK1.8的安装包 二、将JDK1.8的安装包复制到/opt/目录下 三、解压JDK1.8的安装包 tar zxvf jdk-8u65-linux-x64.tar.gz 四、更改JDK1.8的文件夹名称 mv jdk1.8.0_65 jdk 五、删除JDK1.8的安装包 rm -rf jdk-8u65-linux-x64.tar.gz 六、配置JDK的环境变量 vim /etc/profile 添加如下配置 # JDK环境变量 export JAVA_HOME=/
kafka安装及简单实用
我的博客
12-04 736
文章目录安装简单实用 安装 在选择kafka版本时，注意jdk版本。1.7版本的jdk只能支持kafka 2.0.0之前的版本。 下载kafka wget https://archive.apache.org/dist/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz 启动zookeeper 启动kafka 启动消费者 启动生产者 简单实用 ...
springmvc项目使用jdk1.7整合kafka，需要引入什么依赖以及版本有什么要求
06-01
要在Spring MVC项目中使用JDK 1.7整合Kafka，您需要将以下依赖添加到您的项目中： 1. Kafka客户端依赖 ```xml <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.7.0</version> </dependency> ``` 2. Spring Kafka依赖 ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.7.2</version> </dependency> ``` 请注意，版本号可能会因时间而变化，您可以根据您正在使用的Spring版本和Kafka版本选择适当的版本。 此外，要在JDK 1.7中使用Kafka，您需要使用Kafka 2.1或更早版本，因为Kafka 2.2及更高版本需要JDK 1.8或更高版本。 希望这可以回答您的问题！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值