流式计算
文章平均质量分 76
流式计算
情深@骚明
时间是见证质变的唯一标准。
展开
-
03-Flink内存模型
如何处理缓存和高效处理 1 自主管理内存 Flink从一开始就选择了使用自主的内存管理,避开了JVM内存管理在大数据场景下的问题,提升了计算效率. 1.1 JVM内存管理的不足 1.1.1 有效数据密度低 存储:对象头、实例数据、对齐填充部分 导致JVM中有效信息的存储密度很低 1.1.2 垃圾回收 Full GC会严重影响性能以及和集群中的心跳信息超时,使得无法进行调优 1.1.3 OOM问题影响稳定性 1.1.4 缓存未命中问题 CPU和内存访问效率和计算是差了很多 1.2 自主管理 内存管理 定.原创 2021-12-18 10:04:40 · 1374 阅读 · 0 评论 -
02-Flink检查点
记录:Flink 检查点和状态后端在实际生产中用得特别多,通过学习记录,如果有不对的地方大家多多指教 1 Flink checkpoint实战篇 1.1 Flink配置 jobmanager.rpc.address: dw501 jobmanager.rpc.port: 6123 jobmanager.memory.process.size: 1600m taskmanager.memory.process.size: 1728m taskmanager.numberOfTaskSlots: 1 par.原创 2021-12-12 13:07:33 · 1181 阅读 · 0 评论 -
01-Apache Flink 中广播状态的实用指南
1 Apache Flink 中广播状态的实用指南 本篇是转抄的,只是作为学习的笔记来进行学习使用,下面是作者的信息。 王柯凝 Flink 中文社区 翻译 | 王柯凝 校对 | 邱从贤(山智) 自版本 Flink 1.5.0 以来,Apache Flink 提供了一种新的状态类型,称为广播状态(Broadcast State)。在本文中,将解释什么是广播状态,并通过示例演示如何将广播状态应用在评估基于事件流的动态模式的应用程序,并指导大家学习广播状态的处理步骤和相关源码,以便在今后的实践中能实现此类的应原创 2021-11-29 16:36:05 · 112 阅读 · 0 评论