大数据最新kafka入门，2024年最新大数据开发开发者必看避坑指南

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

并且是安装在Linux系统中进行操作的。

简介：

Kafka是一个由Apache软件基金会开发的开源流式数据处理平台。它最初是LinkedIn开发的分布式发布/订阅消息系统，用于处理大规模的实时数据。Kafka具有高吞吐量、可持久化存储、水平扩展性和容错性等特点，被广泛应用于日志收集、数据传输、指标收集等场景中。它提供了生产者和消费者API，以及流处理API，使得用户能够方便地构建实时数据处理应用程序。

Zookeeper:

ZooKeeper是一个由Apache软件基金会开发的开源分布式协调服务，用于管理和协调分布式应用程序。它提供了一个简单而健壮的接口，使得分布式应用程序能够在不同节点之间共享信息、同步状态和协调操作。ZooKeeper通常用于解决分布式系统中的一致性问题，例如选举算法、配置管理、命名服务等。它具有高可用性、强一致性和可靠性的特点，被广泛应用于诸如Hadoop、Kafka等分布式系统中作为基础设施来提供分布式协调服务。

注意：

启动Kafka的前提是启动Zookeeper

命令：

Zookeeper:

启动zookeeper

bin/zkServer.sh start

查看运行状态

bin/zkServer.sh start

关闭zookeeper

bin/zkServer.sh stop

Kafka:

启动kafka

前台启动： bin/kafka-server-start.sh config/server.properties

启动之后无法再输入其它命令

后台启动： bin/kafka-server-start.sh config/server.properties &

启动不打印日志，可以接着输入其它命令

关闭kafka

bin/kafka-server-stop.sh stop

查看当前服务器中的所有topic（话题 分类）

/opt/module/kafka/bin/kafka-topics.sh --zookeeper 192.168.231.131:2181 --list

创建topic

/opt/module/kafka/bin/kafka-topics.sh --zookeeper 192.168.47.129:2181 --create --replication-factor 1 --partitions 1 --topic gouwuche

选项说明：

-topic 定义topic名

–replication-factor 定义副本数

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

8)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！