Flink
整理复习Flink笔记
笑而抿之乎
这个作者很懒,什么都没留下…
展开
-
Flink 窗口计算Joining 链接
Joining 链接Window JoinTumbling Window Join 滚动窗口joinSliding Window Join 滑动窗⼝连接Session Window Join 会话窗⼝连接Interval Join(区间join)Window Join窗⼝join将共享相同key并位于同⼀窗⼝中的两个流的元素联接在⼀起。可以使⽤窗⼝分配器定义这些窗⼝,并根据两个流中的元素...原创 2020-04-13 14:58:54 · 398 阅读 · 0 评论 -
Flink Windows 窗口计算
Flink WindowsKeyed WindowsWindow Lifecycle 窗口生命周期Keyed vs Non-Keyed WindowsWindow Assigners 窗口指定Tumbling Windows 滚动窗口Sliding Windows 滑动窗口Session Windows 会话窗口Global Windows 全局窗口Window FunctionsReduc...原创 2020-04-13 14:15:06 · 737 阅读 · 0 评论 -
Flink快速回忆之State & Fault Tolerance
State & Fault ToleranceFlink是⼀个基于状态计算的流计算服务。Flink将所有的状态分为两⼤类: keyed state(键控状态) 与 operatorstate(运算符状态) .所谓的keyed state指的是Flink底层会给每⼀个Key绑定若⼲个类型的状态值,特指操作KeyedStream中所涉及的状态。所谓operator state指的是⾮keye...原创 2020-04-12 18:00:19 · 195 阅读 · 0 评论 -
Flink快速回忆之Operators(运算符)
Operators(运算符)DataStream Transformations (数据流的转换)DataStream → DataStreamMapTakes one element and produces one element. A map function that doubles the values of the input stream:获取一个元素并生成一个元素。一个映...原创 2020-04-08 16:58:45 · 541 阅读 · 0 评论 -
Flink快速回忆之Streaming (DataStream API)
Streaming (DataStream API(数据流接口))DataSource(数据源)数据源是程序读取数据的来源,⽤户可以通env.addSource(SourceFunction),将SourceFunction添加到程序中。Flink内置许多已知实现的SourceFunction,但是⽤户可以⾃定义实现SourceFunction (⾮并⾏化的接⼝)接⼝或者实现 Parallel...原创 2020-04-08 13:51:39 · 369 阅读 · 0 评论 -
Flink快速回忆之概述和部署
概述Flink是构建在数据流之上的有状态计算的流计算框架,通常被⼈们理解为是 第三代 ⼤数据分析⽅案。概念Task和Operator Chain(阶段和运算链)Flink是⼀个分布式流计算引擎,该引擎将⼀个计算job拆分成若⼲个Task(等价于Spark中的Stage),每个Task都有⾃⼰的并⾏度,每个并⾏度都由⼀个线程表示,因为⼀个Task是并⾏执⾏的,因此⼀个Task底层对应⼀系列的...原创 2020-04-07 21:09:17 · 290 阅读 · 0 评论