m0_50538648的博客

Flink状态管理State分类：ManagedState:被Flink管理的State,Flink对他有自己的管理和优化,绝大多数情况适用，RawState:需要手动管理…自定义Operator的时候需要，KeyedState：分组操作、OperatorState：有无分组的Operator都可以用；KeyedState：/** * 需求:使用KeyedState维护历史状态(历史值),获取输入数据的最大值 * 注意:我们只是为了演示KeyedState,实际中可以直接使用Flink提供好

Flink内存管理1.1问题引入Flink本身基本是以Java语言完成的，理论上说，直接使用JVM的虚拟机的内存管理就应该更简单方便，但Flink还是单独抽象出了自己的内存管理因为Flink是为大数据而产生的，而大数据使用会消耗大量的内存，而JVM的内存管理管理设计是兼顾平衡的，不可能单独为了大数据而修改，这对于Flink来说，非常的不灵活，而且频繁GC会导致长时间的机器暂停应用，这对于大数据的应用场景来说也是无法忍受的。JVM在大数据环境下存在的问题:1.Java 对象存储密度低。在HotSpo

Spark内存管理1.1.堆内内存和堆外内存1.1.1.堆内内存(on-heap)在JVM堆上分配的内存，在JVM垃圾回收GC范围内①：Driver堆内存：通过–driver-memory 或者spark.driver.memory指定，默认大小1G；②：Executor堆内存：通过–executor-memory 或者spark.executor.memory指定，默认大小1G在提交一个Spark Application时，Spark集群会启动Driver和Executor两种JVM进程。