centos7 Kafka安装

已于 2022-08-23 16:45:54 修改
阅读量2.2k 收藏 5
点赞数
分类专栏： Docker 文章标签： kafka java 大数据
于 2022-08-10 16:01:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q908544703/article/details/126266827
版权

目录

一、安装 JDK

1.安装jdk

2.配置环境变量

vim /etc/profile

在这里插入图片描述
在最后面添加：

export JAVA_HOME=/app/jdk-12.0.2
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

3.执行profile文件：

source /etc/profile

这样可以使配置文件立即生效

二、安装kafka

1. 下载kafka

https://kafka.apache.org/downloads

在这里插入图片描述

2. 启动zookeeper

Kafka依赖于ZooKeeper，所以您需要先启动一个ZooKeeper服务器。如果没有安装，您可以使用随Kafka一起打包的便捷脚本来获取一个快速但是比较粗糙的单节点ZooKeeper实例。

  • zookeeper配置是 config目录下的zookeeper.properties，默认端口 2181
vim /data/kafka_2.12-2.8.0/config/zookeeper.properties
  • 启动命令：nohup /data/kafka_2.12-2.8.0/bin/zookeeper-server-start.sh /data/kafka_2.12-2.8.0/config/zookeeper.properties &，启动后可后台运行zookeeper
nohup /data/kafka_2.12-2.8.0/bin/zookeeper-server-start.sh   /data/kafka_2.12-2.8.0/config/zookeeper.properties &
  • 命令：ps -ef | grep zookeeper 查看zookeeper是否启动成功
#查看进程
ps -ef | grep zookeeper
#查看端口
lsof -i:2181
netstat -antp | grep 2181

在这里插入图片描述

  • 查看日志
tail -100f /data/kafka_2.12-2.8.0/logs/server.log

3. 启动kafka

  1. 在config目录下提供了kafka的配置文件server.properties。为了保证可以远程访问Kafka，我们需要修改两处配置。
vim /data/kafka_2.12-2.8.0/config/server.properties

# 去掉注释
listeners=PLAINTEXT://:9092
# 去掉注释并修改地址
advertised.listeners=PLAINTEXT://127.0.0.1:9092

在这里插入图片描述

  1. 启动Kafka：
nohup /data/kafka_2.12-2.8.0/bin/kafka-server-start.sh /data/kafka_2.12-2.8.0/config/server.properties   &
  1. 守护进程方式启动kafka:
/data/kafka_2.12-2.8.0/bin/kafka-server-start.sh -daemon /data/kafka_2.12-2.8.0/config/server.properties
  1. 命令：ps -ef | grep kafka 查看kafka是否启动成功
#查看进程
ps -ef | grep kafka
#查看端口
lsof -i:9092 
netstat -antp | grep 9092

在这里插入图片描述

  1. 查看日志
tail -100f /data/kafka_2.12-2.8.0/logs/kafkaServer.out

4. 测试kafka

1).创建 Topic

/data/kafka_2.12-2.8.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

在这里插入图片描述

2).查看 topic 列表

 # 返回上面创建的 test
/data/kafka_2.12-2.8.0/bin/kafka-topics.sh --list --zookeeper localhost:2181

在这里插入图片描述

3).查看描述 topics 信息

/data/kafka_2.12-2.8.0/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

在这里插入图片描述

4).启动生产者（窗口不要关闭）

/data/kafka_2.12-2.8.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

在这里插入图片描述

5).启动消费者（窗口不要关闭）

/data/kafka_2.12-2.8.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

在这里插入图片描述

6).在生产者窗口输入内容，消费者端可查看到输入的内容

(1).生产端：
{"id":"1"}

在这里插入图片描述

(2).消费端:

在这里插入图片描述

7).删除topic及数据

/data/kafka_2.12-2.8.0/bin/kafka-run-class.sh kafka.admin.TopicCommand --delete --topic ProjectBaseInfo --zookeeper localhost:2181

在这里插入图片描述

三、kafka查看消费数据

1.查看所有组

要想查询消费数据，必须要指定组。那么线上运行的kafka有哪些组呢？使用以下命令：

/data/kafka_2.12-2.8.0/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

在这里插入图片描述

2.查看消费情况

/data/kafka_2.12-2.8.0/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test

参数解释：

  • –describe 显示详细信息
  • –bootstrap-server 指定kafka连接地址
  • –group 指定组。

注意： --group指定的组必须存在才行！可以用上面的–list命令来查看

在这里插入图片描述

TOPIC
PARTITION
CURRENT-OFFSET
LOG-END-OFFSET
LAG
CONSUMER-ID
HOST
CLIENT-ID
topic名字分区id当前已消费的条数总条数未消费的条数消费id主机ip客户端id

三、kafka其它错误

1【Kafka】.org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 291020532 larger than 104857600)

在这里插入图片描述
将$KAFKA_HOME/config/server.properties文件中的socket.request.max.bytes值重置为超过数据包大小,然后重新启动kafka服务器。将socket.request.max.bytes翻倍。

vim /data/kafka_2.12-2.8.0/config/server.properties

2. org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.

1).首先是server.properties，加入在服务端的配置文件server.properties加上的message.max.bytes配置

vim /data/kafka_2.12-2.8.0/config/server.properties
message.max.bytes=2073741824

在这里插入图片描述

对于已创建的topic，调整max.message.bytes参数方法：

/data/kafka_2.12-2.8.0/bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test  --config max.message.bytes=2073741824

2). 要在配置kafka连接（在生产者端配置）时，加入配置max.request.size即可，如下

在这里插入图片描述

但是需要注意的是，在这里配置的值应该小于服务端配置的最大值，否则报如下错误

org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.

max.request.size必须小于message.max.bytes

3. kafka 出现Java heap space的解决方法

1.前言

kafka是由scala和java编写的。所以需要调一些jvm的参数。java的内存分为堆内内存和堆外内存。

  • -Xms2048m, -Xmx2048m，设置的是堆内内存。-Xms是初始可用的最大堆内内存。-Xmx设置的是最大可用的堆内内存。二者设置成一样是因为效率问题，可以让jvm少做一些运算。如果这两个参数设置的太小，kafka会出现java.lang.OutOfMemoryError:
    Java heap space的错误。
  • -XX:MaxDirectMemorySize=5120m。这个参数配置的太小，kafka会出现java.lang.OutOfMemoryError:
    Direct buffer memory的错误。

-XX:MaxDirectMemorySize加大，该参数默认是64M，可以根据需求调大，
如果没找到，就在KAFKA_JVM_PERFORMANCE_OPTS添加，
并且检查JVM参数里面有无：-XX:+DisableExplicitGC，如果有就去掉。
在这里插入图片描述

因为kafka的网络IO使用了java的nio中的DirectMemory的方式,而这个申请的是堆外内存。

2.解决方案

bin目录下的kafka-run-class.sh中需要配置的参数,找到 Memory options处，默认设置是256M，将其修改为如下值:
修改前：
在这里插入图片描述

vim /data/kafka_2.12-2.8.0/bin/kafka-run-class.sh

-Xms2048m  -Xmx2048m -XX:MaxDirectMemorySize=5120m

修改后：
在这里插入图片描述

四、kafka端口号修改

1.zookeeper端口修改

vim /data/kafka_2.12-2.8.0/config/zookeeper.properties

clientPort=12182

在这里插入图片描述

2.修改kafka的server.properties端口号,默认port没有写在文件中

vim /data/kafka_2.12-2.8.0/config/server.properties
# 服务端口号，默认9092
port=9093
# 对应zk地址
zookeeper.connect=localhost:12182

在这里插入图片描述

在这里插入图片描述

3.重启服务

#启动服务zookeeper 服务端口默认2181
nohup /data/kafka_2.12-2.8.0/bin/zookeeper-server-start.sh   /data/kafka_2.12-2.8.0/config/zookeeper.properties &

#启动服务kafka
 /data/kafka_2.12-2.8.0/bin/kafka-server-start.sh -daemon /data/kafka_2.12-2.8.0/config/server.properties

4.测试

在这里插入图片描述
在这里插入图片描述

q908544703
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux环境下(Centos7) 下安装Kafka详细教程
m0_62044358的博客
04-23 1621
使用命令 vim conf/zoo.cfg 创建配置文件并打开,虽然文件夹下有了一个zoo_sample.cfg示例配置文件，我们还是新创建一个。此处的zookeeper版本可能已经失效了，同学们可在镜像网站内选择合适的zookeeper版本，然后以此命令替换掉 镜像源下载即可。如果此地址无法访问或者下载速度较慢，可自行网络寻找Kafka压缩包，虽然版本不一样但是安装命令是基本一致的。可以在上面两个地方选一个合适的镜像。
Kafka在CentOS7上安装
qiushui1001的博客
05-10 402
本文选用的是jdk1.8和kafka2.8.1。（kafka3.×以上的已经弃用jdk1.8了） 需要以root身份进行操作 感谢kafka的安装过程_mob604756f318e7的技术博客_51CTO博客提供的帮助 W3Cschool帮助文档Apache Kafka 概述_w3cschool 一、JDK安装 第一步：下载jdk https://www.oracle.com/java/technologies/downloads/ 第二步：卸载CentOS7自带的jdk rpm -qa | grep ja
centos7系统安装kafka
码农崛起
08-16 3489
一、准备确保服务器上已经搭建完成JDK，zookeeper服务；
Centos7系统部署搭建Kafka集群
一起学习一起进步~
06-07 2608
Kafka 的所有命令行工具都有额外的选项：运行kafka-topics.sh不带任何参数的命令以显示使用信息。kafka的事件储存在主题中，主题类似于文件系统中的文件夹，事件是该文件夹中的文件。我们首先创建一个主题 topic-test，并指定分区为 0，读取模式为从头读取，并连接本地服务器。完成后可以得到一个kafka的文件夹，我这里是直接放在桌面的，各位可以根据自己需求选择文件夹存放。以前的kafka之前还需要准备zookeeper环境，新版的kafka中自带由，免去了很多麻烦。
一篇文章告诉你CentOS7中从0到1搭建kafka消息中间件
最新发布
舒一笑的博客
04-25 1147
在 CentOS 7 上安装 Apache Kafka 需要一些准备步骤，主要包括安装必要的依赖、下载 Kafka 以及配置 Zookeeper 和 Kafka 服务。
centos7 安装部署kafka
zaixiaqin的博客
12-13 2139
kafka 在centos7的单机部署，基本操作
Centos7安装配置【kafka】【kafka-manager】【启动脚本】
on the way . . .
09-06 2328
Background kafka-manager（目前已更名为CMAK）是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。 我们这里一切从头开始安装。 此次jdk版本选用【jdk1.8.0_301】；JDK8官网下载地址。 此次Kafka的版本选用【kafka_2.12-2.4.1】；kafka官网下载地址。 Kafka-Manager的版本选用【kafka-manager-1.3.3.4】；kafka-manager官网下载地址。 这里给出安装包，
CentOS 7 安装 Kafka 2.7.0
cnn489282795的博客
02-07 395
一、下载 下载地址：http://kafka.apache.org/downloads 二、安装 1、安装前准备 安装JDK：CentOS 7 安装JDK 安装ZooKeeper：CentOS 7 安装ZooKeeper 3.6.2 2、解压 shell> tar -zxvf kafka_2.12-2.2.0.tgz -C /usr/local/ 3、配置 shell> cd /usr/local/kafka_2.12-2.2.0/config shell> vim
CentOS7安装Kafka
09-03
CentOS7网络配置，安装JDK，安装Kafka，订阅发布以及测试
kafka rpm 离线 安装 centos7
09-01
centos 离线服务器安装kafka
centos 7.4安装kafka
12-27
centos 7.4安装kafka 一、 关闭防火墙 二、 禁止selinux 三、 更新系统 四、 安装JDK 五、 配置Java环境变量 六、 安装kafka 七、 安装zookeeper 八、 配置kafka 九、 测试kafka 十、 把zookeeper配置成服务 十一、...
Centos7kafka2.3.03.zip
10-28
【标题】"Centos7kafka2.3.03.zip" 涉及到的知识点主要集中在Apache Kafka在CentOS 7操作系统上的安装和配置，以及使用RPM包进行软件管理。 Apache Kafka是一个分布式流处理平台，由LinkedIn开发并贡献给了Apache...
CentOS7安装kafka-manager.docx
10-26
【标题】：CentOS7上安装与配置Kafka-Manager详解 【描述】：Kafka-Manager是一款基于Web界面的工具，专为管理和监控Apache Kafka集群而设计。它提供了直观的用户界面，使得在CentOS7系统上管理Kafka集群变得简单易...
【kafka系列】centos7系统安装kafka
增量星球
09-25 3211
目录一、准备二、安装与配置三、配置文件详解四、运行1.启动zookeeper服务2.启动kafka服务3.创建topic4.查看topic5.产生消息：kafka-console-producer.sh6.消费消息：kafka-console-consumer.sh7.查看描述 Topic 信息8.删除topic 一、准备 确保服务器上已经搭建完成JDK，zookeeper服务； 如果未搭建完成，请移步参考以下文章： 安装zookeeper: https://blog.csdn.net/xuan_lu/ar
centos7系统超详细部署Kafka教程
高性价比服务器就选：蓝易云
08-01 1330
这是一个基本的CentOS 7系统部署Kafka的教程。根据您的需求，还有其他配置和调优步骤可以进行，例如设置集群、安全性设置和性能调优等。建议参考Kafka官方文档以获取更详细的指南和文档。部署Kafka是一项复杂的任务，涉及到多个步骤和配置。替换为您想要下载的Kafka版本，将。替换为Scala的版本，例如。替换为您希望创建的主题名称。
CentOS 7 中安装Kafka
淡淡的说非
10-20 911
如果需要允许其他机器访问，需要开放。显示版本信息，说明安装成功。
【Kafka】Kafka 简介 || CentOS7 安装 Kafka || SpringBoot整合 Kafka 方式
liuwanqing233333的博客
12-14 418
本文主要包含 Kafka 简介 、 CentOS7 安装 Kafka 以及 SpringBoot整合 Kafka 方式
CentOS7安装Kafka完整教程
weixin_55076626的博客
04-11 5611
1.进入/opt cd /opt 2.解压Kafka安装包 tar -zxf kafka_2.11-2.0.0.tgz 3.移动解压后的kafaka到soft/kafka211 mv kafka_2.11-2.0.0.tgz soft/kafka211 4.进入soft/kafka211/config/ cd soft/kafka211/config/ 5.修改server.properties vim server.properties 5.1给listeners，log.
Linux：【Kafka一】Centos7安装Kafka
叫我吕小布
09-12 598
https://kafka.apache.org/downloads，下载的是3.5.0：Scala 2.12 - kafka_2.12-3.5.1.tgz (asc, sha512)
centos7kafka安装
09-02
在CentOS 7上安装Kafka的步骤如下： 1. 下载Kafka源码包。确保下载的是源码包而不是带有-bin.tar.gz后缀的包，因为带有-bin.tar.gz后缀的包在启动客户端时会报错。 2. 解压源码包，并将解压后的文件夹重命名为kafka。例如，使用以下命令解压并重命名文件夹： ```shell tar -xzvf kafka-x.x.x-src.tgz mv kafka-x.x.x-src kafka ``` 3. 进入Kafka目录： ```shell cd kafka ``` 4. 修改配置文件server.properties。根据你的需求，修改以下参数： ```shell broker.id=1 listeners=PLAINTEXT://0.0.0.0:9092 advertised.listeners=PLAINTEXT://192.168.1.36:9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/opt/kafa/kafka/kafka-logs num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=localhost:2181 zookeeper.connection.timeout.ms=6000 group.initial.rebalance.delay.ms=0 ``` 5. 启动Zookeeper服务。Kafka依赖于Zookeeper来管理集群中的状态。你可以使用以下命令启动Zookeeper服务： ```shell bin/zookeeper-server-start.sh config/zookeeper.properties ``` 6. 启动Kafka服务。使用以下命令启动Kafka服务： ```shell bin/kafka-server-start.sh config/server.properties ``` 现在，你已经成功在CentOS 7上安装了Kafka服务。你可以使用Kafka提供的命令行工具或者编程接口来操作和管理Kafka集群。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [centos7系统安装kafka](https://blog.csdn.net/Michaelwubo/article/details/126358950)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值