2024年最新Linux 安装 kafka，2024年最新面试竟然被这31道Linux运维基础题难倒了

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

Consumer Group： 一组消费者的集合，共同消费一个 Topic 的消息。每个分区只能由一个消费者组中的一个消费者消费。

Offset： 每个消息在 Partition 中的唯一标识，消费者使用 Offset 来追踪已消费的消息。

二、安装Kafka

1.准备工作

1.1 Java

Kafka是依赖Java环境运行，所以需要在Linux系统内安装Java环境。

1.2 安装包下载

官方下载地址：http://kafka.apache.org/downloads.html

我这里下载的是：kafka_2.12-3.6.0.tgz

# 在线下载安装包
wget https://archive.apache.org/dist/kafka/3.6.0/kafka\_2.12-3.6.0.tgz

2.安装KafKa

将安装包传送到服务器并解压，这里我放到opt下面

1. 解压安装包

cd  opt
tar -zxvf kafka_2.12-3.6.0.tgz

2. 配置kafka

在kafka解压目录同一路径下创建

mkdir -p /opt/software/kafka
mkdir -p /opt/software/kafka/zookeeper  #zookeeper数据目录
mkdir -p /opt/software/kafka/log        #kafka日志
mkdir -p /opt/software/kafka/zookeeper/log  #zookeeper日志

3 进入配置文件目录

cd /opt/kafka_2.12-3.6.0/config/

4 修改配置文件server.properties，添加下面内容

broker.id=0
port=9092 #端口号
host.name=localhost #服务器IP地址，修改为自己的服务器IP
log.dirs=/opt/software/kafka/log  #日志存放路径，上面创建的目录
zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

5 配置zookeeper服务 zookeeper.properties

dataDir=/opt/software/kafka/zookeeper   #zookeeper数据目录
dataLogDir=/opt/software/kafka/zookeeper/log #zookeeper日志目录
clientPort=2181
maxClientCnxns=100
tickTimes=2000
initLimit=10
syncLimit=5

6 创建启动和关闭的 kafka 执行脚本

6.1 创建启动脚本

cd /opt/kafka_2.12-3.6.0/
vi kafkaStart.sh

配置启动脚本 kafkaStart.sh

#启动zookeeper
/opt/kafka_2.12-3.6.0/bin/zookeeper-server-start.sh /opt/kafka_2.12-3.6.0/config/zookeeper.properties &
 
sleep 3 #等3秒后执行
 
#启动kafka
/opt/kafka_2.12-3.6.0/bin/kafka-server-start.sh /opt/kafka_2.12-3.6.0/config/server.properties &

6.2 创建关闭脚本 kafkaStop.sh

cd /opt/kafka_2.12-3.6.0/
vi kafkaStop.sh

配置关闭脚本 kafkaStop.sh

#关闭zookeeper
/opt/kafka_2.12-3.6.0/bin/zookeeper-server-stop.sh /opt/kafka_2.12-3.6.0/config/zookeeper.properties &
 
sleep 3 #等3秒后执行
 
#关闭kafka
/opt/kafka_2.12-3.6.0/bin/kafka-server-stop.sh /opt/kafka_2.12-3.6.0/config/server.properties &

7 启动脚本，关闭脚本赋予权限

chmod 777 kafkaStart.sh
chmod 777 kafkaStop.sh

启动和关闭kafka

cd /opt/kafka_2.12-3.6.0/ 
sh kafkaStart.sh #启动
sh kafkaStop.sh  #关闭

8 创建生产者 topic 和 消费者 topic

---

cd /opt/kafka_2.12-3.6.0/bin/   #进入kafka目录
./kafka-console-producer.sh --broker-list localhost:9092 --topic test  #创建生产者 test你要建立的topic名

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test #创建消费者

​ 查看 kafka 是否启动

[root@localhost kafka_2.12-3.6.0]# jps
21324 QuorumPeerMain 
15211 Jps
21215 Kafka

里面有QuorumPeerMain和kafkas说明启动成功了

查看当前的一些topic

cd /opt/kafka_2.12-3.6.0/bin/
 
./kafka-topics.sh --zookeeper localhost:2181 --list
./kafka-topics.sh --list --bootstrap-server localhost:9092

9 Spring boot集成Kafka

1、pom依赖

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

<dependency>
   <groupId>org.apache.kafka</groupId>
   <artifactId>kafka-clients</artifactId>
   <version>2.4.1</version>
</dependency>

2.消费者

@Autowired
private KafkaTemplate<String, String> kafkaTemplate;
@RequestMapping("/userGets")
public Object gets() {
    // send 第一个参数为topic的名称，第二个参数为我们要发送的信息
    kafkaTemplate.send("topic.quick.default","1231235");
    return "发送成功";
}

@KafkaListener(topics = {"topic1"})
public void onMessage(ConsumerRecord<?, ?> record) {
    System.out.println(record.value());
}

@KafkaListener(topics = {"topic2"})
public void getMessage(ConsumerRecord<String, String> record) {
    String key = record.key();
    String value = record.value();
}





### 最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

### 资料预览

给大家整理的视频资料：

![](https://img-blog.csdnimg.cn/img_convert/d6267f553a92d8bf69040260ea3f0ae8.png)

给大家整理的电子书资料：

  

![](https://img-blog.csdnimg.cn/img_convert/75813534b4b688a0e648371cf3cef73b.png)



**如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！**

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618542503)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

1714784351955)]



**如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！**

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618542503)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**