2024年大数据最新Kafka入门到实战-第二弹(1)，2024年最新大数据开发面试基础

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

声明: 由于操作系统, 版本更新等原因, 文章所列内容不一定100%复现, 还要以官方信息为准

https://kafka.apache.org/

Kafka概述

Apache Kafka 是一个开源的分布式事件流平台，提供高性能数据管道、流分析、 数据集成和任务关键型应用程序。

Kafka术语

• Event 事件具有键、值、时间戳和可选的元数据头
• Producers 生产者是向 Kafka 发布（写入）事件的客户端应用程序
• Consumers 消费者是订阅（读取和处理）这些事件的客户端应用程序
• Topics 主题类似于文件系统中的文件夹，事件是该文件夹中的文件
• Partitioned 一个主题分布在位于不同 Kafka 代理上的多个“存储桶”上
• Replicated 数据具有容错性和高度可用性, 可以有多个备份

Kafka初体验

• 下载安装部分, 过于简单, 不宜演示, 请参考官网教程
  
• 创建一个主题,名称叫做quickstart-events

bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

• 查看topic的详细信息

bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

• 将事件写入到kafka

 bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
hello
kafka

• 读取事件

bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

• Kafka Connect 将数据导入/导出为事件流

 echo "plugin.path=libs/connect-file-3.7.0.jar" >>config/connect-standalone.properties
 echo -e "foo\nbar" > test.txt
 bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

执行完会有一个test.sink.txt文件,
也可以通过下边的命令查看数据

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

/618545628)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！