![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
青禾qingh
小只~
展开
-
Flink学习小计-流计算DEMO
Flink学习小计---流处理DEMOFlink本地安装Flink流处理DEMO项目创建代码书写Api简单说明数据源模拟Flink本地安装非常简单,点击这里下载之后解压即可Flink流处理DEMO通过一个简单的流处理demo来感性的认识一下Flink。项目创建Flink提供了Maven的模板原型,我们可以直接使用如下命令创建Flink项目。mvn archetype:generate...翻译 2019-02-20 23:31:55 · 1121 阅读 · 0 评论 -
Flink笔记-延迟数据处理
Flink笔记-延迟数据处理Out Of Order&LateAllowedLateness&OutputTag关于测输出(OutputTag)Flink的窗口处理流式数据虽然提供了基础EventTime的WaterMark机制,但是只能在一定程度上解决数据乱序问题。而某些极端情况下数据延迟会非常严重,即便通过WaterMark机制也无法等到数据全部进入窗口再进行处理。默认情况下...原创 2019-09-07 18:41:56 · 5987 阅读 · 0 评论 -
Flink笔记-Evictors数据剔除
Flink笔记-Evictors数据剔除Evictors TypeCountEvictorTimeEvictorDeltaEvictor自定义Evictor编程过程当中,可以通过调用DataStream API的evictor()方法【可选方法】传入相应的Evictor对进入WindowFunction前后的数据进行剔除处理,默认的Evictors都是在WindowFunction计算之前对数据...原创 2019-08-24 21:14:24 · 1608 阅读 · 0 评论 -
Flink学习笔记-Trigger窗口触发
Flink学习笔记-Trigger窗口触发Flink提供的Triggers自定义Trigger窗口的计算触发依赖于窗口触发器,每种类型的窗口都有对应的窗口触发机制,都有一个默认的窗口触发器,触发器的作用就是去控制什么时候来触发我们的聚合方法。Flink内部定义实现了如EventTimeTrigger、ProcessTimeTrigger、CountTrigger以及DeltaTrigger等等。...原创 2019-08-10 21:03:13 · 9695 阅读 · 1 评论 -
Flink学习笔记-WindowsFunction(篇二)
Flink学习笔记-WindowsFunction(篇二)ProcessWindowFunctionProcessWindowFunction抽象类ProcessWindowFunction简单例子ProcessWindowFunction with Incremental AggregationAggregateFunction combined with ProcessWindowFuncti...原创 2019-07-28 21:57:37 · 4100 阅读 · 0 评论 -
Flink学习笔记-窗口计算之WindowsAssigner
Flink学习笔记-Windows窗口计算WindowsAssignerWindowsTriggerEvictorLatenessOutput TagWindowsFunctionWindows在Flink中作为独立的Operator存在,其可以将无限的数据集按照时间或者长度进行切分,从而完成当前所关心数据的统计计算,满足流计算中相关业务场景。每个窗口算子中,包含了Windows Assigne...原创 2019-07-07 00:54:29 · 4370 阅读 · 0 评论 -
Flink学习笔记-WindowsFunction(篇一)
Flink学习笔记-窗口计算之WindowsFunctionReduceFunction在确定窗口类型之后,便可以定义窗口数据的计算逻辑,也就是定义Window Function。Flink提供了四种类型Window Function,其中有ReduceFunction、AggregateFunction、FlodFunction和ProcessWindowFunction。其中ReduceFu...原创 2019-07-14 10:46:43 · 2376 阅读 · 1 评论 -
Flink学习笔记-窗口触发和乱序处理
Flink学习笔记-窗口触发和乱序处理Flink窗口函数触发机制out-of-order数据处理通常来讲,由于各种原因,包含但不限于网络、背压,外部系统因素等,事件数据往往不能够及时传输到Flink系统中进行计算,因此,在开启EventTime的前提下,flink提供了一种依据watermark机制结合window来实现对乱序数据的处理的方式。Flink窗口函数触发机制首先,flink窗口...原创 2019-06-23 14:53:11 · 2176 阅读 · 0 评论 -
Flink学习笔记-Timer&Watermark
Flink学习笔记-timer&watermark事件时间API摄入时间api处理时间各类时间之间的关系水位线flink在计算过程中支持不同维度的时间概念,包含事件时间(Event Time),摄入时间(Ingestion Time),处理时间(Processing Time);事件时间事件时间描述的是处理依赖的事件源产生事件的时间,也就是说在事件进入flink之前就已经以时间戳的方...原创 2019-06-02 13:17:01 · 838 阅读 · 0 评论 -
Flink学习小记-失败恢复重启策略
Flink学习小记-重启策略欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎...原创 2019-04-29 11:16:33 · 4100 阅读 · 0 评论 -
Flink学习小记-执行计划可视化实操
Flink学习小记-实操执行计划可视化执行计划可视化方式Plan Visualization ToolApache Flink Dashboardflink会根据客户端提交程序的一些参数,以及集群中机器(TaskManager)的数量去自动优化选取一个它认为合适的执行策略(使数据在DAG中流动计算);通常情况下,了解flink为job选取的执行计划对我们理解flink是如何执行客户端任务是非常有...原创 2019-05-02 00:46:44 · 3329 阅读 · 0 评论 -
Flink学习小计-编程模型
Flink学习小计-编程模型Flink的编程抽象级别有状态的流式处理级别功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入...原创 2019-04-16 00:30:22 · 292 阅读 · 0 评论 -
Flink笔记-架构设计
Flink笔记-架构设计基本组件栈物理部署层Runtime核心层API层架构设计细节Flink架构体系采用的也是分层设计,在降低系统耦合度的同时,也为上层用户构建Flink应用提供了丰富友好的接口。整体从下到上分为三层,物理部署层、Runtime核心层以及API&Libraries层,而API层官方又根据抽象级别的不同细分了四层,之前笔记介绍过。基本组件栈物理部署层主要是负责Fli...翻译 2019-09-13 16:58:57 · 1144 阅读 · 0 评论