既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
- Event 事件具有键、值、时间戳和可选的元数据头
- Producers 生产者是向 Kafka 发布(写入)事件的客户端应用程序
- Consumers 消费者是订阅(读取和处理)这些事件的客户端应用程序
- Topics 主题类似于文件系统中的文件夹,事件是该文件夹中的文件
- Partitioned 一个主题分布在位于不同 Kafka 代理上的多个“存储桶”上
- Replicated 数据具有容错性和高度可用性, 可以有多个备份
Kafka初体验
- 下载安装部分, 过于简单, 不宜演示, 请参考官网教程
- 创建一个主题,名称叫做quickstart-events
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
- 查看topic的详细信息
bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092
- 将事件写入到kafka
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
hello
kafka
- 读取事件
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
- Kafka Connect 将数据导入/导出为事件流
echo "plugin.path=libs/connect-file-3.7.0.jar" >>config/connect-standalone.properties
echo -e "foo\nbar" > test.txt
bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
执行完会有一个test.sink.txt文件,
也可以通过下边的命令查看数据
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
echo Another line>> test.txt
- 使用 KAFKA STREAMS 处理事件
先贴出来代码, 等后边实战会贴出来运行效果
KStream<String, String> textLines = builder.stream("quickstart-events");
KTable<String, Long> wordCounts = textLines
.flatMapValues(line -> Arrays.asList(line.toLowerCase().split(" ")))
![img](https://img-blog.csdnimg.cn/img_convert/fe73e9de55068a1ca57a886fd08c3102.png)
![img](https://img-blog.csdnimg.cn/img_convert/c2099349829fc6fb9befd116f8dd71de.png)
![img](https://img-blog.csdnimg.cn/img_convert/809b6f6b483d4f3ea1f43dae863d5f8a.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**
义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**