Flink学习之路
小只学习Flink的成长之路。
青禾qingh
小只~
展开
-
Flink学习笔记-窗口触发和乱序处理
Flink学习笔记-窗口触发和乱序处理Flink窗口函数触发机制out-of-order数据处理通常来讲,由于各种原因,包含但不限于网络、背压,外部系统因素等,事件数据往往不能够及时传输到Flink系统中进行计算,因此,在开启EventTime的前提下,flink提供了一种依据watermark机制结合window来实现对乱序数据的处理的方式。Flink窗口函数触发机制首先,flink窗口...原创 2019-06-23 14:53:11 · 2201 阅读 · 0 评论 -
Flink学习笔记-Timer&Watermark
Flink学习笔记-timer&watermark事件时间API摄入时间api处理时间各类时间之间的关系水位线flink在计算过程中支持不同维度的时间概念,包含事件时间(Event Time),摄入时间(Ingestion Time),处理时间(Processing Time);事件时间事件时间描述的是处理依赖的事件源产生事件的时间,也就是说在事件进入flink之前就已经以时间戳的方...原创 2019-06-02 13:17:01 · 855 阅读 · 0 评论 -
Flink学习小记-执行计划可视化实操
Flink学习小记-实操执行计划可视化执行计划可视化方式Plan Visualization ToolApache Flink Dashboardflink会根据客户端提交程序的一些参数,以及集群中机器(TaskManager)的数量去自动优化选取一个它认为合适的执行策略(使数据在DAG中流动计算);通常情况下,了解flink为job选取的执行计划对我们理解flink是如何执行客户端任务是非常有...原创 2019-05-02 00:46:44 · 3380 阅读 · 0 评论 -
Flink学习小记-失败恢复重启策略
Flink学习小记-重启策略欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎...原创 2019-04-29 11:16:33 · 4126 阅读 · 0 评论 -
Flink学习小计-编程模型
Flink学习小计-编程模型Flink的编程抽象级别有状态的流式处理级别功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入...原创 2019-04-16 00:30:22 · 300 阅读 · 0 评论 -
Flink学习小计-流计算DEMO
Flink学习小计---流处理DEMOFlink本地安装Flink流处理DEMO项目创建代码书写Api简单说明数据源模拟Flink本地安装非常简单,点击这里下载之后解压即可Flink流处理DEMO通过一个简单的流处理demo来感性的认识一下Flink。项目创建Flink提供了Maven的模板原型,我们可以直接使用如下命令创建Flink项目。mvn archetype:generate...翻译 2019-02-20 23:31:55 · 1133 阅读 · 0 评论