kafka安装配置(超详细，傻瓜式安装)_kafka 安装配置，2024年最新大数据开发面试题内存优化

server.2=bigdata1:2888:3888
server.3=bigdata2:2888:3888
server.4=bigdata3:2888:3888

修改

dataDir=/opt/module/zookeeper-3.5.7/data

分发zookeeper

scp -r /opt/module/zookeeper-3.5.7/ root@bigdata2:/opt/module/

scp -r /opt/module/zookeeper-3.5.7/ root@bigdata3:/opt/module/

修改bigdata2和bigdata3中的zookeeper下的data中myid的值分别改为3和4  
 与下方的对应

server.2=bigdata1:2888:3888
server.3=bigdata2:2888:3888
server.4=bigdata3:2888:3888

修改名称使环境变量里的和module下的一致  
 在module下：

mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7

mv kafka_2.12-2.4.1 kafka-2.12

启动zookeeper  
 三台都启动  
 启动后jps查看进程 QuorumPeerMain

zkServer.sh start

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/e1de483ffcf44da59c80e91c7bd14d82.png)


配置好kafka的环境变量  
 三台都配

vim /etc/profile

#kafka
export KAFKA_HOME=/opt/module/kafka-2.12
export PATH=$PATH:$KAFKA_HOME/bin

刷新环境变量

source /etc/profile

使用kafka-server-start.sh --version查看kafka的版本内容

kafka-server-start.sh --version

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/6925ecffd8b24ffbb7d87efa52c8a90e.png)


***三，使用***  
 进入kafka的config中修改server.properties文件

vim /opt/module/kafka-2.12/config/server.properties

#节点id，不同的节点用不同的数字表示

broker.id=1

#对外的ip及端口，端口号每个文件不要用同一个，我使用的分别是9091,9092,9093

listeners=PLAINTEXT://192.168.4.130:9091

#数据存放位置，每个节点一个如/kafka-logs-1，/kafka-logs-2，/kafka-logs-3等，不同节点使用文件不可重复，如果重复了容易启动失败

log.dirs=/usr/local/kafka_2.12-2.5.1/data/cluster/kafka-logs-1

#填zookeeper的地址，多个用，隔开

zookeeper.connect=192.168.4.130:2181

启动kafka  
 后台启动

bin/kafka-server-start.sh -daemon config/server.properties

在每个节点启动Kafka，创建topic，其中toipic名称为installtopic，分区数为2，副本数为2

kafka-topics.sh --create --zookeeper bigdata1:2181 --replication-factor 2 --partitions 2 --topic installtopic

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/9b03ae92426947e98f9f5794e1c59d53.png)


查看创建成果

kafka-topics.sh --bootstrap-server bigdata1:9091 --list

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

会持续更新**

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-it3OCDBX-1712978360316)]

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！