Flink
文章平均质量分 93
goTsHgo
这个作者很懒,什么都没留下…
展开
-
有状态流处理
什么是状态?#虽然数据流中的许多操作一次只查看一个单独的事件(例如事件解析器),但有些操作会记住多个事件的信息(例如窗口操作符)。这些操作称为有状态的。有状态操作的一些示例:当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列。 当聚合每分钟/小时/天的事件时,状态持有待处理的聚合。 在数据点流上训练机器学习模型时,状态保存模型参数的当前版本。 当需要管理历史数据时,状态允许有效访问过去发生的事件。Flink 需要知道状态,以便使用检查点和保存点使其容错。有关状态的...原创 2022-06-21 15:48:32 · 191 阅读 · 0 评论 -
Kafka系统学习
Kafka系统学习路线(一)Kafka概述目录前言一、Kafka是什么(定义)?二、消息队列1.传统应用场景(同步和异步的对比)2.使用消息队列的好处:3.消息队列的模式(两种)常见的消息队列:各个消息队列横向对比三、Kafka基础架构前言Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏...原创 2021-10-10 21:00:54 · 93 阅读 · 0 评论