Linux 安装单机kafka,细到极致

大家晚上好呀,好久没更新了,各位老铁有没有想老哥的,我是非常想各位的,毕竟老哥也是更新文章有大半年的时光了,这段时间,经历了很多,也感受了很多,人生酸甜苦辣咸,各种滋味,只能说一切不在尽言中。。。
  开局搞点这么伤感的话,还是第一次,希望各位不要介意
  今天给大家带来的是在Linux上单机kafka的安装教程,如果大家想看集群的话,麻烦多点赞,我有时间看到大家的赞,会有更强的动力更新的。
  正式开始
1、安装kafka,首先需要jdk,没有安装jdk的,请查看我之前的文章
2、然后安装kafka,需要zk,作为心跳节点,然后我推荐大家一个下载地址,是国内某大厂镜像,下载速度会快一点,下载尾缀是bin.tar.gz
zookeeper下载地址

3、下载kafka,选.tgz的
kafka下载地址

4、老哥已经提前下载好了

[root@VM-4-2-centos zookeeper]# ls
apache-zookeeper-3.5.7-bin.tar.gz  kafka_2.13-3.0.1.tgz

5、查看jdk是否安装,非常重要

[root@VM-4-2-centos zookeeper]# java -version
java version "1.8.0_311"
Java(TM) SE Runtime Environment (build 1.8.0_311-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.311-b11, mixed mode)

6、解压zookeeper,然后重命名

[root@VM-4-2-centos zookeeper]# tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz 
[root@VM-4-2-centos zookeeper]# mv apache-zookeeper-3.5.7-bin zookeeper

7、zookeeper有个很无语的地方,conf文件下有个配置文件需要重命名

[root@VM-4-2-centos zookeeper]# cd zookeeper/conf/
[root@VM-4-2-centos conf]# mv zoo_sample.cfg  zoo.cfg

8、修改zoo.cfg配置文件的日志路径,在zoo.cfg后面加上一句(zk需要一个端口备用,默认是8080) 为了防止8080端口被占用

[root@VM-4-2-centos conf]# pwd
/opt/zookeeper/zookeeper/conf
[root@VM-4-2-centos conf]# vi zoo.cfg
admin.serverPort=8888

在这里插入图片描述
9、外面创建log文件夹,然后启动

[root@VM-4-2-centos conf]# cd ../ && mkdir log
[root@VM-4-2-centos zookeeper]# ./bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

10、检查一下是否启动,出现QuorumPeerMain,代表zk启动成功,如果没有的话,可以去当前的logs文件夹看日志,一般的人是不会教你这些的

[root@VM-4-2-centos zookeeper]# jps
2699880 QuorumPeerMain
1740700 Bootstrap
2700101 Jps
[root@VM-4-2-centos zookeeper]# lsof -i:2181
COMMAND     PID USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
java    2699880 root   51u  IPv6 108690897      0t0  TCP *:eforward (LISTEN)

11、重点来了,先解压kafka安装包,然后重命名

[root@VM-4-2-centos zookeeper]# tar -zxvf kafka_2.13-3.0.1.tgz 
[root@VM-4-2-centos zookeeper]# mv kafka_2.13-3.0.1 kafka

12、进入配置文件目录

[root@VM-4-2-centos zookeeper]# cd kafka/config/
[root@VM-4-2-centos config]# pwd
/opt/zookeeper/kafka/config
[root@VM-4-2-centos config]# vi server.properties

13、需要修改两个地方,一个是advertised后面,添加你的公网ip地址,可以通过curl ifconfig.me查看;另外一个是日志位置
在这里插入图片描述
在这里插入图片描述
14、上去,启动kafka

[root@VM-4-2-centos config]# cd ..
[root@VM-4-2-centos kafka]# ./bin/kafka-server-start.sh -daemon ./config/server.properties &

15、查看状态,启动成功!

[root@VM-4-2-centos kafka]# jps
2699880 QuorumPeerMain
1740700 Bootstrap
2702798 Jps
2702533 Kafka
[root@VM-4-2-centos kafka]# lsof -i:9092
COMMAND     PID USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
java    2702533 root  134u  IPv6 108700509      0t0  TCP *:XmlIpcRegSvc (LISTEN)

16、kafka可以通过控制台发送消息,老哥简单演示一下
先创建一个topic test

./bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --bootstrap-server 101.34.7.236:9092

生产者:

./bin/kafka-console-producer.sh --broker-list 101.34.7.236:9092 --topic test

在这里插入图片描述

消费者:

./bin/kafka-console-consumer.sh --bootstrap-server 101.34.7.236:9092 --topic test

在这里插入图片描述

17、屏幕前的各位大帅逼,还有大漂亮,看到这里,麻烦给老哥一个点赞、关注、收藏三连好吗,你的支持是老哥更新最大的动力,谢谢!

  • 14
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
Kubernetes (k8s) 是一个开源的容器编排平台,用于自动化容器化应用程序的部署、扩展和管理。要在 k8s 上安装 Kafka(一个分布式流处理平台)的单机版,首先你需要确保你的 k8s 集群已经设置好,并且具备运行 Docker 或者 Kubernetes 的能力。 以下是简单的步骤: 1. **下载 Kafka**: 从 Apache Kafka 官网下载适合的版本,例如 tar.gz 或者二进制镜像。你可以选择单节点模式,因为这是一个演示,但在生产环境中通常会使用多节点复制。 2. **部署 Kafka:** - 创建一个 Kubernetes Deployment 根据下载的 Kafka 镜像。这需要一个 YAML 文件,例如 `kafka-deployment.yaml`,内容包括了 Deployment 的名称、Kafka容器的镜像标签以及必要的环境变量(如 `ZOOKEEPER_CONNECT`、`KAFKA_LISTENERS` 等)。 ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: kafka spec: replicas: 1 selector: matchLabels: app: kafka template: metadata: labels: app: kafka spec: containers: - name: kafka image: confluentinc/cp-kafka:latest env: - name: ZOOKEEPER_CONNECT value: "localhost:2181" - name: KAFKA_ADVERTISED_LISTENERS value: "PLAINTEXT://localhost:9092" ``` 3. **创建 Service:** 使用 Kubernetes Service 来暴露 Kafka 服务的端点。创建一个 `kafka-service.yaml`,定义一个 ClusterIP 类型的服务,暴露 Kafka 的端口 9092。 ```yaml apiVersion: v1 kind: Service metadata: name: kafka-service spec: type: ClusterIP selector: app: kafka ports: - name: kafka port: 9092 targetPort: 9092 ``` 4. **应用配置并部署:** 在你的 kubectl 命令行中,使用 `kubectl apply -f` 命令分别应用 Deployment 和 Service 的配置文件: ```bash kubectl apply -f kafka-deployment.yaml kubectl apply -f kafka-service.yaml ``` 5. **验证安装:** 使用 `kubectl get pods,svc` 确认 Kafka 的 Deployment 是否已启动并处于 Running 状态,Service 是否成功创建。 6.
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jesscia ^_^

您的打赏将是我努力的动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值