Flink自主内存管理——JVM堆上内存和堆外内存的问题

系列文章目录

---

前言

Java语言的好处是不用考虑底层，JVM可以对代码进行深度优化，对内存资源进行管理，自动回收内存。但是自动内存管理的问题在于不可控，基于JVM的大数据引擎常常会面临一个问题，即在处理海量数据的时候，如何在内存中存储大量的数据

---

一、JVM内存管理在大数据场景下的问题

1.有效数据密度低

• Java的对象在内存中的存储包含3个主要部分：对象头、实例数据、对齐填充部分。32位和64位的虚拟机中对象头分别需要占用32bit和64bit。实例数据是实际的数据存储。为了提高效率，内存中数据存储不是连续的，而是按照8byte的整数倍进行存储。例如，只有一个boolean字段的类实例占16byte：头信息占8byte，boolean占1byte，为了对齐达到8的倍数会额外占用7byte。这就导致在JVM中有效信息的存储密度很低。

2.垃圾回收

• JVM的内存回收机制的优点和缺点同样明显，优点是开发者无须资源回收，提高开发效率，减少了内存泄漏的可能。但是内存回收是不可控的，在大数据计算的场景中，这个缺点被放大，TB、PB级的数据计算需要消耗大量的内存，在内存中产生海量的Java对象，一旦