![](https://img-blog.csdnimg.cn/20190918140053667.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink大数据框架
文章平均质量分 70
Flink基础知识与实践
Facouse
这个作者很懒,什么都没留下…
展开
-
Flink -- 状态一致性理解
Flink 的状态一致性状态一致性一致性检查点(checkpoint)端到端(end-to-end)状态一致性端到端的精确一次(exactly-once)保证幂等写入事务写入预写日志(Write-Ahead-Log,WAL)两阶段提交(Two-Phase-Commit,2PC)Flink+Kafka 端到端状态一致性的保证Exactly-once 两阶段提交Exactly-once 两阶段提交步骤状态一致性有状态的流处理,内部每个算子任务都可以有自己的状态对于流处理器内部来说,所谓的状态一致性,其原创 2022-03-06 21:39:33 · 143 阅读 · 0 评论 -
Flink -- 容错机制理解
Flink 的容错机制一致性检查点从检查点恢复状态Flink检查点算法保存点(save points)一致性检查点Flink 故障恢复机制的核心,就是应用状态的一致性检查点有状态流应用的一致检查点,其实就是所有任务的状态,在某个时间点的一份拷贝(一份快照);这个时间点,应该是所有任务都恰好处理完一个相同的输入数据的时候从检查点恢复状态在执行流应用程序期间,Flink 会定期保存状态的一致检查点如果发生故障, Flink 将会使用最近的检查点来一致恢复应用程序的状态,并重新启动处理流程原创 2022-03-06 21:11:25 · 115 阅读 · 0 评论 -
Flink--Watermark(水位线)与时间语义
Flink--Watermark(水位线)与时间语义时间语义设置Event TimeWatermark(水位线)Watermark 的传递、引入和设定watermark 的传递watermark 的引入TimestampAssignerwatermark 的设定时间语义Event Time:事件创建的时间Ingestion Time:数据进入Flink的时间Processing Time:执行操作算子的本地系统时间,与机器相关问:哪种时间语义更重要?答:不同时间语义有不同的应用场合,更关心原创 2022-02-25 10:02:52 · 298 阅读 · 0 评论 -
Flink--窗口函数(window function)
窗口函数(window function)增量聚合函数(incremental aggregation functions全窗口函数(full window functions)其他APIwindow API 总览window function定义了要对窗口中收集的数据做的计算操作主要分为两类:增量聚合函数(incremental aggregation functions每条数据到来就进行计算,保持一个简单的状态ReduceFunction, AggregateFunction全窗口函数(原创 2022-02-21 22:31:26 · 792 阅读 · 0 评论 -
Flink window API窗口相关知识
Flink window APIwindow概念window类型滚动窗口(Tumbling Windows)滑动窗口会话窗口(Session Windows)window API窗口分配器(window assigner)创建不类型的窗口window概念一般真实的流都是无界的,怎样处理无界的数据可以把无限的数据流进行切分,得到有限的数据集进行处理 ——也就是得到有界流窗口(window)就是将无限流切割成有限流的一种方式,它会将流数据分发到有限大小的桶(bucket)中进行分析window类原创 2022-01-19 21:58:00 · 1246 阅读 · 0 评论 -
Flink -- Sink输出
Flink--Sink输出kafkaRedisElasticsearchJDBC自定义sinkFlink没有类似于spark中foreach方法,让用户进行迭代的操作。虽有对外的输出操作都要利用Sink完成。最后通过类似如下方式完成整个任务最终输出操作。stream.addSink(new MySink(xxxx)) 官方提供了一部分的框架的sink。除此以外,需要用户自定义实现sink。kafka// 从Kafka中读取数据DataStream<String> input原创 2022-01-19 21:33:57 · 1938 阅读 · 0 评论 -
Flink支持的数据类型
Flink支持的数据类型概述基础数据类型Java和Scala元组(Tuples)Scala样例类(case classes)Java简单对象(POJOs)其他概述Flink流应用程序处理的是以数据对象表示的事件流。所以在.Flink内部,我们需要能够处理这些对象。它们需要被序列化和反序列化,以便通过网络传送它们;或者从状态后端、检查点和保存点读取它们。为了有效地做到这一点,Flink需要明确知道应用程序所处理的数据类型。Flink 使用类型信息的概念来表示数据类型,并为每个数据类型生成特定的序列化器、原创 2022-01-13 22:02:06 · 187 阅读 · 0 评论 -
Flink Transform1(基本转换算子与多流转换算子基础定理,相关代码)
Flink Transform原创 2021-12-29 21:15:59 · 840 阅读 · 0 评论 -
Flink基础原理知识(程序、数据流、数据传输、任务链)
Flink运行架构程序数据流执行图数据传输形式任务链程序所有的Flink程序由三部分组成:Source、Transformation、SinkSource:读取数据源;Transformation:利用各种算子加工处理;Sink:负责输出数据流在运行时,Flink上的运行程序会被映射为“逻辑数据流(dataflows)”,包含了三部分每一个dataflows以一个或多个Sources开始以一个或多个Sink结束。dataflows类似于有向无环图在大部分的情况下,程序的转换运算(Tran原创 2021-12-23 15:46:55 · 993 阅读 · 0 评论 -
Flink基础原理知识
Flink运行架构Flink组成部分任务提交流程任务调度原理原创 2021-12-17 10:25:39 · 1104 阅读 · 0 评论 -
Flink学习笔记
从此开始记录自己学习Flink的过程,以此作为笔记,反复观看以防忘记。(纯小白一个,有错误还希望大家指出来)原创 2021-12-14 22:12:27 · 1641 阅读 · 0 评论