【框架学习（3） -- Linux下Kafka单机部署】

已于 2022-11-29 18:57:49 修改
阅读量1.1k 收藏 1
点赞数
分类专栏： 框架整合学习 文章标签： kafka 学习 linux
于 2022-11-24 19:30:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eee3331/article/details/128013464
版权

文章目录


友情提示：这是一篇踩坑记录，请看耐心完之后，再参考操作！！！

先下载一个可视化工具

https://www.kafkatool.com/download.html

在这里插入图片描述

下载源码包

http://kafka.apache.org/downloads.html

在这里插入图片描述
两个选哪个都行。

举例：kafka_2.12-3.3.1.tgz
由于服务器上，kafka是用scala写的
前面的2.12表示的是用这个版本的scala开发的，而后面的3.3.1是kafka版本。

在这里插入图片描述
在2.8.0版本的kafka之前，必须要部署zookeeper才行
从2.8.0开始，kafka不需要zookeeper帮它管理集群了。

上传解压

tar -zxvf 压缩包名称

解压完毕后将文件夹重命名为kafka，想保留版本号名称方便管理也行，自己意愿。
在这里插入图片描述
内部结构如下：
在这里插入图片描述

修改 config/server.properties

进入到config文件夹下，找到server.properties：
在这里插入图片描述

参考B站尚硅谷：https://www.bilibili.com/video/BV1vr4y1677k?

在这里插入图片描述
在这里插入图片描述
红色标注出的部分是在配置文件中必须手动修改的内容：
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

配置环境变量

vim /etc/profile

添加：

export KAFKA_HOME=//home/software/kafka
export PATH=$PATH:$KAFKA_HOME/bin

关于重新配置环境变量

B站尚硅谷老师的kafka视频中，修改的环境变量路径是 /etc/profile.d/my_env.sh

有些疑惑，为什么我们的环境变量文件不一样？

在原本的 /etc/profile文件中有这么一段话：
在这里插入图片描述
告诉我们：

直接修改这个profile文件并不是一个好办法，最好是在/etc/profile.d/这个目录下，配置环境变量。

那怎么配置呢？
翻到/etc/profile的最下面：
在这里插入图片描述
/etc/profile会自行去遍历执行/etc/profile.d这个文件夹下所有的.sh文件，并且上面的注释中也解释了，是login shell，登录即生效。

所以，我们要新增或修改某个环境变量，都在/etc/profile.d文件夹下。

先挪动JDK环境变量试试：
删掉/etc/profile下的jdk环境变量，在/etc/profile.d文件夹下新建一个my_env.sh
在这里插入图片描述
在这里插入图片描述

保存退出后刷新环境变量：

source /etc/profile

验证一下jdk是否还在：
在这里插入图片描述
直接重启，再次验证：
在这里插入图片描述
证实了操作可行以后，把之前配置的环境变量都挪过去：
在这里插入图片描述
在这里插入图片描述

保存退出后刷新环境变量：

source /etc/profile

验证MySQL可用：
在这里插入图片描述
验证redis可用：
在这里插入图片描述

其实也可以在/etc/profile.d文件夹下，Java建一个.sh，MySQL也建一个，Redis也建一个……
我自己觉得文件太多反而麻烦，只建一个。

觉得我没说清，可以自行百度或者C一下

启动kafka服务（启动失败及错误分析）

切换到bin目录下

cd /home/software/kafka/bin/

bin目录下有各种kafka操作
在这里插入图片描述

启动kafka

kafka-server-start.sh  -daemon ../config/server.properties

解释：

  • kafka-server-start.sh 启动程序
  • -daemon 守护线程
  • …/config/server.properties 根据指定配置文件启动

在这里插入图片描述
启动失败！
由于没有输出错误，只能去找日志：
在这里插入图片描述

kafkaServer.out

在这里插入图片描述

log4j:ERROR Could not read configuration file from URL [file://home/software/kafka/bin/…/config/log4j.properties].
java.net.UnknownHostException: home

错误信息表示它无法根据这个路径读取路径

先寻找这个文件，它是存在的：
在这里插入图片描述
主要原因：

java.net.UnknownHostException: home

主机找不到，联合上文中的server.propertoes,猜测可能是server.propertoes中直接写master，IP地址没有根据主机名映射过去。
在这里插入图片描述
在这里插入图片描述
启动成功后又挂了

这里发现了很多问题：
1、我使用的是3.2.1版本，这个配置走的还是zookeeper的路子，我如何才能使用zookeeper启动呢？
2、在阅览群贴的过程中发现一个大问题，kafka从3.0.0版本开始就弃用Java8了
在这里插入图片描述
我他喵的装的是jdk8啊！！！

部署到这一步，我开始思考是不是jdk版本过低导致的。
要么降版本到3.0以下，要么换jdk 成Java11及以上。

事情到了这一步，我还是想试试，

寻找启动错误的原因

解压后的jdk11文件夹
切换到bin目录下：
手动生成jre

./jlink --module-path jmods --add-modules java.desktop --output jre

在这里插入图片描述
生成的jre文件夹到bin目录下了，我们挪到和bin同一级。
配置环境变量：
在这里插入图片描述
刷新环境变量让JDK11生效：

在这里插入图片描述
启动依旧报原之前的错误，说明与jdk版本无关。

这时意识到现在用的这种方式，配置的是zookeeper启动通信，很大可能性是因为我没有安装zookeeper启动或是没有启动自带的zookeeper原因。

如果是因为zookeeper的问题，因为我没有自己装zookeeper，kafka自带的zookeeper是不是需要我提前手动启动？

使用自kafka带的zookeeper启动

kafka是自带zookeeper的：

在这里插入图片描述
在kafka文件夹下新建一个zookeeper文件夹，用来存放zookeeper的数据及日志文件：
在这里插入图片描述在这里插入图片描述
修改kafka /config下的zookeeper.properties：
在这里插入图片描述

clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/software/kafka/zookeeper/data
dataLogDir=/home/software/kafka/zookeeper/dataLog
server.0=192.168.253.10:12888:13888

在data文件夹下新建一个myid文件,内容就写0，就是server.0的0。

启动zookeeper服务
kafka目录下执行：

./bin/zookeeper-server-start.sh config/zookeeper.properties &

zookeeper成功启动，但是仍旧无法启动kafka
在这里插入图片描述
把报错的log4j的路径给加入环境变量：

export KAFKA_LOG4J_OPTS=-Dlog4j.configuration=file:/home/software/kafka/config/log4j.properties

在这里插入图片描述

确认kafka自带的zookeeper启动成功后，再次尝试启动kafka：

依旧失败。

踩坑！
之前有博客说进入日志文件夹修改这个文件：
在这里插入图片描述
把cluster.id 修改跟zookeeper中server.x一样是错的！
要根据zookeeper的服务日志中的报错修改：
在这里插入图片描述

kafka.common.InconsistentClusterIdException: The Cluster ID VEAcwxN3TKG4Ktean19zJg doesn’t match stored clusterId Some(CdOlid3QR-SijiAl5flm1Q) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
at kafka.server.KafkaServer.startup(KafkaServer.scala:230)
at kafka.Kafka$.main(Kafka.scala:109)
at kafka.Kafka.main(Kafka.scala)

意思是这两个cluster id不一样，改成和前者一样的。

保存后关闭之前的服务，重新启动

最终的“胜利”

在这里插入图片描述

想知道我最终怎么解决的吗？

在这里插入图片描述
修改server.properties中的延迟为6000，默认18000

前面的步骤也很重要。

启动失败总结

好了，总结一下失败原因：
1、确保虚拟机时间正确，集群则需要保证时间同步

2、直接通过config文件夹下的server.properties文件启动，使用的zookeeper方式，如果没有自行安装zookeeper，可以先启动kafka自带的zookeeper。

3、如果报错找不到log4j的路径，先加入环境变量

4、kafka自带的zookeeper，是通过config文件夹下的zookeeper.properties启动。新增内容如下：

clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/software/kafka/zookeeper/data
dataLogDir=/home/software/kafka/zookeeper/dataLog
server.0=192.168.253.10:12888:13888 // server.x，例如server.1顺序数

同时还要保证data数据文件夹下有一个myid文件夹，里面的内容与server.x中的x一致。

6、logs文件夹下，server.log会包含服务信息，可以根据里面的报错排查问题。

5、如果上述从操作都不行，尝试修改server.propertities中的延迟，改小6000，或者改大。

花了一下午踩坑，血的教训！

当前已经解决使用kafka自带的zookeeper启动问题，并且将jdk升为Java11

下一篇，不使用zookeeper开启kafka服务，测试新版kafka的常用操作命令。

上岸撒尿的鱼
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Linux中安装Kafka(单机版)
Jiu_Jiang的博客
06-28 1701
Kafka和zookeeper有对应关系，可以根据自己zookeeper版本自行选择。此时在product窗口发送的消息，都可以在consume窗口接收到。第三步：修改运行时占用的内存，默认为1G(内存足够的话可以无视)log.dirs = 日志地址 (可以修改一个自己想要的)创建一个名为test的topic，只有一个副本一个分区。开启一个新的远程窗口，同样在kafka的安装目录下。文件，这里我修改为了256m，太小了也不行。查看已经创建的topic。后新增两行(注意空格)
Kafka单机部署学习演示案例
腾蛟起凤吕学士
11-14 1071
Kafka单机部署学习演示案例，附带压测结果
Linux7 单机部署Kafka3.7
最新发布
qq_40457379的博客
06-17 193
Linux7 单机部署Kafka3.7
Linux 安装单机kafka，细到极致
gubeichengxuyuan的博客
04-11 4385
大家晚上好呀，好久没更新了，各位老铁有没有想老哥的，我是非常想各位的，毕竟老哥也是更新文章有大半年的时光了，这段时间，经历了很多，也感受了很多，人生酸甜苦辣咸，各种滋味，只能说一切不在尽言中。。。   开局搞点这么伤感的话，还是第一次，希望各位不要介意   今天给大家带来的是在Linux上单机kafka的安装教程，如果大家想看集群的话，麻烦多点赞，我有时间看到大家的赞，会有更强的动力更新的。   正式开始 1、安装kafka，首先需要jdk，没有安装jdk的，请查看我之前的文章 2、然后安装kafka，需要
使用Linux部署Kafka教程
JackMa的博客
08-26 3901
e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。-e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka 配置zookeeper管理kafka的路径172.16.0.13:2181/kafka。-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间。
Kafka系列 - 03 Kafka安装|单机环境搭建|伪集群环境搭建 (一台服务器)
你今天真好看呀
11-22 1340
① 在安装完JDK和ZooKeeper之后，就可以执行Kafka broker的安装了，首先也是从官网http://kafka.apache.org/downloads中下载安装包，示例中选用按照包的是kafka_2.12-2.2.1.tgz。① 安装ZooKeeper的第一步也是下载相应的安装包，安装包可以从官网https://zookeeper.apache.org/中获得，我们使用的安装包是zookeeper-3.4.14.tar.gz。这个文件就是记录每个服务器的ID。
利用docker和docker-compose部署单机kafka
01-20
- 启动消费者：`kafka-console-consumer.sh --bootstrap-server 192.168.1.60:9094 --topic kafeidou --from-beginning` - 启动生产者：`kafka-console-producer.sh --broker-list 192.168.1.60:9092 --topic ...
kafka-connect-oracle:Kafka Source Connector for Oracle
05-28
Kafka ConnectOraclekafka-connect-oracle是一个Kafka源连接器，用于从Oracle数据库捕获所有基于行的DML更改并将这些更改流式传输到Kafka。 变更数据捕获逻辑基于Oracle LogMiner解决方案。 仅从Oracle中提取已提交...
spring-boot-starter-kafka示例程序
03-04
spring-boot-starter-kafka示例程序\n 支持springcloud1.5.4，kafka0.8.2.x\n 项目地址：https://github.com/zhyea/spring-boot-starter-kafka
confluent-kafka-python:Confluent的Kafka Python客户端
04-12
confluent-kafka-python提供了与所有兼容的高级Producer，Consumer和AdminClient 经纪人> = v0.8， 和。 客户是： 可靠-它是 （通过二进制车轮自动提供）的包装，已在各种生产场景中广泛部署。 它使用Java客户端，...
flink-sql-connector-kafka-2.12-1.13.1.jar
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
Kafka： Linux环境-单机部署和伪集群、集群部署
喜欢历史的码农
11-26 302
（2）修改配置，此配置用于消息发布与订阅的ip。将listeners的ip修改为当前部署kafka的服务器ip。和kafka压缩包，先下载zookeeper，如下。">"后后面的内容就是新建的topic。standalone代表单机启动。（4）新建topic并查看状态。（5）生产消息和消费消息。（2）启动并查看状态。（3）启动kafka。
Kafka3.3.1最新版安装教程（无需zookeeper）
神明的博客
12-04 5195
kafka最新版3.3.1安装教程
Java 之父：尽快弃用 Java 8！！
Java技术栈，分享最主流的Java技术
04-26 238
点击关注公众号，Java干货及时送达文 | 局长出品 | OSC开源社区（ID：oschina2013）Java 之父 James Gosling 近日发表推特称，开发者应尽快弃用 JDK 8，可以选择 JDK 17 LTS，因为后者在各个方面都带来了巨大的改进。不过醉翁之意不在酒，原来 Java 之父只是为了给东家 AWS 的 OpenJDK 发行版 Corretto ...
超简洁步骤安装kafka（linux环境）
norma_chai的博客
06-20 2371
4、在zookeeper的conf目录下修改配置文件名（启动zookeeper的时候会去找zoo.cfg）4、在config目录下修改配置文件server.properties。2、通过rz命令将zookeeper安装包上传到linux。一、查看jdk是否安装（如果没有安装，可自行百度安装）5、在zookeeper的bin目录下启动zk。2、通过rz命令上传到linux服务器。3、在bin目录下启动kafka。4、在bin目录下创建topic。二、安装zookeeper。
kafka单机安装
Lucifer ZHAO
08-04 2343
kafka安装准备 jdk-8u131-linux-x64.tar.gz kafka_2.13-3.2.0.tgz apache-zookeeper-3.6.1-bin.tar.gz kafka-eagle-bin-2.1.0.tar.gz zktools.zip canal.deployer-1.1.4.tar.gz
Kafka 安装部署、集群启动、命令行操作 与 可视化工具 Kafka Tool
热门推荐
蚩尤后裔-汪茂雄
10-11 1万+
目录 Kafka 消息队列概述 Kafka 消息队列架构 Kafka 消息队列概述 1、Apache Kafka 是一个开源分布式消息队列/系统，该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台 2、Kafka 保存消息时根据 Topic（主题） 进行归类，发送消息者称为 Producer（生产者），消息接受者称为 Consumer（消费者），kafka 集群由多个 kafka 实例组成，每个实例(server) 成为 broker（经纪人）。 3、无论是 kafka 集群，还是
Liunx-Kafka单机部署
JolyouLu的博客
07-09 368
Zookeeper-快速入门(服务安装、单机部署、集群部署 单机部署 修改配置文件 broker.idlistenerslog.dirszookeeper.connect
Linux下Kafka单机安装配置方法（实操成功）
蜀山小师叔
08-05 8923
说明： Kafka版本：kafka_2.11-0.8.2.1 1、安装JDK（这里不再描述） 2、下载kafka cd /usr/local/software wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz 注意，kafka_2.11-0.8.2.1.tgz版本是已经编译好的版本，解压就能...
Linux下Kafka安装与集群部署详解
本文档详细介绍了在Linux环境下安装和部署Apache Kafka以及构建高可用的Kafka集群的过程。首先，作者强调了从Apache Kafka官方网站下载预编译的二进制包，而不是源代码，推荐选择与Scala 2.11兼容的版本，如kafka_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

上岸撒尿的鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值