Flink
文章平均质量分 94
flink
five小点心
阳光开朗孔乙己
展开
-
spark 和 flink 的对比
的数据模型是(Resilient Distributed Dattsets),这个内存数据结构使得spark可以通过固定内存做大批量计算。初期的 Spark Streaming 是通过(micro-batches),即,所以严格意义上,还不能算作流式处理。原创 2023-06-19 21:01:54 · 3128 阅读 · 0 评论 -
Flink学习——处理函数ProcessFunction及多流转换
处理函数processFunction、分流output、合流union/connect/join原创 2023-05-20 16:28:40 · 2768 阅读 · 1 评论 -
Flink学习——Flink中的时间语义和窗口
水位线可以看作是一条特殊的数据记录,它是插入到数据流中的一个标记点,主要内容就是一个时间戳,用来指示当前的事件事件。而它插入流中的位置,就应该是在某个数据到来之后。表示该时间点之前所有的时间都已经到达系统。我们之前学习过批处理,是指数据积累到一定的程度再进行处理。而Flink是一种流式处理框架。所谓流处理,就是数据来一条数据处理一条。那么,如果我们的数据是按顺序发送(有序流),那么按照顺序进行处理没有问题。但是消息不在是按照顺序发送,产生了乱序,这时候该怎么处理?于是我们引入了水位线的概念。原创 2023-05-22 15:34:17 · 1606 阅读 · 1 评论 -
Flink学习——DataStream API
/ 标志位// run方法:不停循环,发送数据// 1. 随机数生成器// 2. 用标志位作为循环判断的条件,不断发送数据// 3. 调用sourceContext的方法向下游发送数据sourceContext.collect(SensorReading("生成:"+i,1,1))// cancel方法:定义标志位,用于run中断的控制读取自定义的数据源Flink 的 DataStream API 编程风格其实是一致的:基本上都是基于 DataStream 调用一个方。原创 2023-05-17 21:50:14 · 1803 阅读 · 0 评论 -
Flink学习——基本概述
apache flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。原创 2023-05-15 16:49:17 · 1339 阅读 · 0 评论