Flink源码阅读（六）--- Flink 内存模型

本篇文章主要介绍下FLink的内存模型，在介绍Flink内存模型之前，我们首先学习下JVM内存结构

1. JVM内存结构

Java7 升级为 Java8的时候，JVM内存结构发生了改变，咱们看下区别是什么。这部分内容原文 Java8 JVM内存结构

1.1 Java7 对应的 JVM 内存结构

image

很多人愿意将方法区称作永久代。

本质上来讲两者并不等价，仅因为Hotspot将GC分代扩展至方法区，或者说使用永久代来实现方法区。在其他虚拟机上是没有永久代的概念的。也就是说方法区是规范，永久代是Hotspot针对该规范进行的实现。

1.2 Java8 对应的 JVM 内存结构

image

元空间MetaSpace存在于本地内存，意味着只要本地内存足够，它不会出现像Java7永久代中“java.lang.OutOfMemoryError: PermGen space”这种错误。

那为什么用MetaSpace代替了方法区呢？是因为通常使用PermSize和MaxPermSize设置永久代的大小就决定了永久代的上限，但是不知道应该设置多大合适, 如果使用默认值很容易遇到OOM错误。
当使用元空间时，可以加载多少类的元数据就不再由MaxPermSize控制, 而由系统的实际可用空间来控制。

1.3 JVM 堆内堆外内存什么含义？

这部分内容原文 堆内堆外内存

堆内内存

• 在JVM的这些分区中，占用内存空间最大的一部分叫做“堆(heap)”，也就是我们所说的堆内内存(on-heap memory)。JVM中的“堆”主要是存放所有对象的实例。这一块区域在java虚拟机启动的时候被创建，被所有的线程所共享，同时也是垃圾收集器的主要工作区域，因此这一部分区域除了被叫做“堆内内存”以外，也被叫做“GC堆”(Garbage Collected Heap)。

堆外内存

• 为了解决堆内内存过大带来的长时间GC停顿的问题，以及操作系统对堆内内存不可知的问题，java虚拟机开辟出了堆外内存(off-heap memory)。堆外内存意味着把一些对象的实例分配在Java虚拟机堆内内存以外的内存区域，这些内存直接受操作系统(而不是虚拟机)管理。这样做的结果就是能保持一个较小的堆，以减少垃圾收集对应用的影响。同时因为这部分区域直接受操作系统的管理，别的进程和设备(例如GPU)可以直接通过操作系统对其进行访问，减少了从虚拟机中复制内存数据的过程。
• java 在NIO 包中提供了ByteBuffer类，对堆外内存进行访问。
• 虽然堆外内存本身不受垃圾回收算法的管辖，但是因为它是由ByteBuffer所创造出来的，因此这个buffer自身作为一个实例化的对象，其自身的信息(例如堆外内存在主存中的起始地址等信息)必须存储在堆内内存中。

2. Flink 内存模型

Flink1.10 对Flink的内存模型进行了改造，咱们分开来介绍Flink1.10之前版本，已经Flink1.10之后版本

2.1 Flink1.10前的Flink内存模型

首先看下内存模型图

image

看下flink源码，来分析下内存各个分区大小是怎么设置的，入口 ContaineredTaskManagerParameters#create 方法

/**
     * Computes the parameters to be used to start a TaskManager Java process.
     *
     * @pa