flink
文章平均质量分 78
justdoit180
这个作者很懒,什么都没留下…
展开
-
Flink Checkpoint超时 引发TaskManager进程挂掉
Flink Checkpoint超时问题 文章目录 Flink Checkpoint超时问题问题现象问题分析问题1:TaskManager进程挂掉问题2:任务长时间处于CANCELING问题3:Checkpoint超时问题4:数据无法正常同步 解决思路总结参考文档 问题现象 业务部门最近使用Flink来做数...转载 2021-12-23 16:59:28 · 5695 阅读 · 2 评论 -
Flink CEP开发流程介绍
FlinkCEP1.CEPCEP全称 Complex event processing 复杂事件处理FlinkCEP 是在 Flink 之上实现的复杂事件处理(CEP)库擅长高吞吐、低延迟的处理,市场上有多种CEP的解决方案,例如Spark,但是Flink专门类库更方便使用官网链接:https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/libs/cep/2.应用场景检测和发现无边界事件流中多个记录的关联规则,得到满足原创 2021-12-23 16:40:15 · 852 阅读 · 0 评论 -
Flink状态State管理、后端存储、Checkpoint
Flink的状态State介绍和应用场景解析什么是State状态是一个Operator的运行的状态/历史值,是维护在内存中数据流处理离不开状态管理,比如窗口聚合统计、去重、排序等流程:一个算子的子任务接收输入流,获取对应的状态,计算新的结果,然后把结果更新到状态里面有状态和无状态介绍无状态计算同个数据进到算子里面多少次,都是一样的输出,比如 filter有状态计算需要考虑历史状态,同个输入会有不同的输出,比如sum、reduce聚合操作状态管理分类ManagedState(原创 2021-12-23 16:04:38 · 3120 阅读 · 0 评论 -
Flink 多种时间概念、Watermark、allowedLateness、SideOutput概念及应用
Flink 多种时间概念、Watermark、allowedLateness、SideOutput概念及应用原创 2021-12-20 14:51:29 · 629 阅读 · 0 评论 -
Flink Window窗口、应用场景、 窗口API与使用流程
Flink Window窗口、应用场景、 窗口API与使用流程原创 2021-12-20 09:51:21 · 1848 阅读 · 0 评论 -
Flink整体架构原理、组件角色介绍、并行度概念和调整优先级
Flink整体架构原理、组件角色介绍、并行度概念和调整优先级原创 2021-12-18 17:35:29 · 2085 阅读 · 0 评论 -
批量计算与流式计算的区别
大数据的【计算模式】主要分为两种,适用于不同的大数据应用场景批量计算(batch computing)批处理:对一定规模量的数据进行处理,类似搬砖,10个10个的搬场景:离线数据统计、报表分析等(过去1年 10000亿条日志,分析日、周、月,接口响应延迟 状态码)特点:批量计算非实时、高延迟,计算完成后才可以得到结果框架:Hadoop MapReduce流式计算(stream computing)流处理:对源源不断的数据流进行处理,类似水龙头出水特点:流式计算实时、低延迟,实时取最新原创 2021-12-18 16:35:47 · 1979 阅读 · 0 评论 -
Flink可视化控制台依赖配置
flink可视化控制台依赖配置原创 2021-12-18 14:57:41 · 1264 阅读 · 0 评论 -
flinkcdc介绍API使用 1.x与2.x的区别
flink flinkcdc转载 2021-12-18 14:13:23 · 1088 阅读 · 0 评论