Debian(Linux通用)安装 Kafka 并配置远程访问

Debian(Linux通用)安装 Kafka 并配置远程访问


前言

As we all know,当今世界最流行的消息中间件有 RabbitMq、RocketMq、Kafka,其中,应用最广泛的是 RabbitMqRocketMq 是阿里巴巴的产品,性能超过 RabbitMq,已经经受了多年的双11考验,但是怕哪天阿里不维护了,用的人不多,Kafka 是吞吐量最大的一个,远超前两个,支持事务、可保证消息的不丢失(网上说的事务和消息可靠性不支持是说的旧版,2以后就开始支持了),对比来讲,Kafka相对于前两个,只有一个劣势,不太支持延时队列,其他方面都要优于它们(个人使用体验,勿喷)。


一、下载

为 Kafka 创建一个安装文件夹,你喜欢哪就装哪

cd /
mkdir data
cd data/
mkdir kafka
cd kafka/

下载官方安装包

# 下载官方安装包,apache大家都知道,下载很慢,大家可以从镜像下载或者挂梯子下载完传输到服务器
wget https://dlcdn.apache.org/kafka/3.3.1/kafka_2.13-3.3.1.tgz

apache大家都知道,下载很慢,下面我的服务器下载速度只有96.8KB/s,大家可以从镜像下载或者挂梯子下载完传输到服务器

root@VM-12-15-debian:/data/kafka# wget https://dlcdn.apache.org/kafka/3.3.1/kafka_2.13-3.3.1.tgz
--2022-11-01 14:50:29--  https://dlcdn.apache.org/kafka/3.3.1/kafka_2.13-3.3.1.tgz
Resolving dlcdn.apache.org (dlcdn.apache.org)... 151.101.2.132, 2a04:4e42::644
Connecting to dlcdn.apache.org (dlcdn.apache.org)|151.101.2.132|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 105053134 (100M) [application/x-gzip]
Saving to: ‘kafka_2.13-3.3.1.tgz’

kafka_2.13-3.3.1.tgz            2%[>            ]   2.71M  96.8KB/s    eta 7m 54s

二、安装

在我们创建的文件夹里解压

# 解压
tar -xzf kafka_2.13-3.3.1.tgz
# 进入解压出来的文件夹
cd kafka_2.13-3.3.1/

解压完成,进入解压的文件夹,ls,出现下面这样几个目录

root@VM-12-15-debian:/data/kafka# ls
kafka_2.13-3.3.1.tgz
root@VM-12-15-debian:/data/kafka# tar -xzf kafka_2.13-3.3.1.tgz
root@VM-12-15-debian:/data/kafka# ls
kafka_2.13-3.3.1  kafka_2.13-3.3.1.tgz
root@VM-12-15-debian:/data/kafka# cd kafka_2.13-3.3.1/
root@VM-12-15-debian:/data/kafka/kafka_2.13-3.3.1# ls
bin  config  libs  LICENSE  licenses  NOTICE  site-docs
root@VM-12-15-debian:/data/kafka/kafka_2.13-3.3.1#

三、配置远程访问

注意:新版的 Kafka 已经可以不依赖并且不建议依赖 zookeeper 来启动了,所以我们采用 Kafka 内置的 KRaft 启动方式,无需额外安装其他软件,所以我们修改的配置文件的路径如下

# 修改 kraft 里面的配置文件
vim config/kraft/server.properties

把 advertised.listeners 的 localhost 修改为当前服务器的公网 IP

修改前

在这里插入图片描述

修改后

在这里插入图片描述
修改完成保存

开放防火墙 9092 端口

# Debian/Ubuntu ufw
ufw allow 9092
ufw reload
# Debian/Ubuntu iptables(这个叼毛防火墙好麻烦,我没用过,不知道是不是这样)
iptables -A INPUT -p tcp --dport 9092 -j ACCEPT
iptables-restore
# CentOS
firewall-cmd --zone=public --add-port=9092/tcp --permanent
firewall-cmd --reload

四、启动

下面是启动命令,要进入解压的文件夹里面执行哦,格式化 kraft 文件夹命令新安装后只需执行一次,后续启动就不需要了

# 格式化 kraft 文件夹(新安装后只需执行一次)
KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties
# 启动
bin/kafka-server-start.sh -daemon config/kraft/server.properties &

出现下面这样,启动成功,如果大家想看启动日志,把上面命令的最后一个 & 去掉就可以

root@VM-12-15-debian:/data/kafka/kafka_2.13-3.3.1# ls
bin  config  libs  LICENSE  licenses  NOTICE  site-docs
root@VM-12-15-debian:/data/kafka/kafka_2.13-3.3.1# bin/kafka-server-start.sh -daemon config/kraft/server.properties &
[1] 3783821

总结

Springboot 集成 Kafka 的配置和使用,看我的另一篇Springboot 配置使用 Kafka,不多BB,不会给你扯原理,只会教你怎么用,详细但不啰嗦,你不会后悔的

  • 5
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
以下是在 Linux安装 Apache Kafka 的步骤: 1. 安装 Java Kafka 是基于 Java 开发的,因此需要安装 Java。可以使用以下命令检查是否已经安装 Java: ``` java -version ``` 如果 Java 没有安装,可以使用以下命令安装: - Ubuntu/Debian ``` sudo apt-get update sudo apt-get install default-jdk ``` - CentOS/RHEL ``` sudo yum install java-1.8.0-openjdk ``` 2. 下载 Kafka 可以从 Kafka 的官方网站(https://kafka.apache.org/downloads)下载最新版本的 Kafka。下载完成后,解压文件: ``` tar -xzf kafka_2.13-2.7.0.tgz cd kafka_2.13-2.7.0 ``` 3. 启动 ZooKeeper Kafka 使用 ZooKeeper 来管理集群状态,因此需要先启动 ZooKeeper。在 Kafka 解压后的目录中,执行以下命令启动 ZooKeeper: ``` bin/zookeeper-server-start.sh config/zookeeper.properties ``` 4. 启动 KafkaKafka 解压后的目录中,执行以下命令启动 Kafka: ``` bin/kafka-server-start.sh config/server.properties ``` 5. 创建 Topic 可以使用以下命令创建一个名为 test 的 Topic: ``` bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 ``` 6. 发送消息 使用以下命令发送消息到 test Topic: ``` bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092 ``` 在控制台中输入消息,回车发送。 7. 接收消息 使用以下命令从 test Topic 接收消息: ``` bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092 ``` 将会输出之前发送的消息。 到这里,你已经成功在 Linux安装并使用 Kafka 了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

繁华尽头满是殇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值