系列文章目录
文章目录
前言
Java语言的好处是不用考虑底层,JVM可以对代码进行深度优化,对内存资源进行管理,自动回收内存。但是自动内存管理的问题在于不可控,基于JVM的大数据引擎常常会面临一个问题,即在处理海量数据的时候,如何在内存中存储大量的数据一、JVM内存管理在大数据场景下的问题
1.有效数据密度低
- Java的对象在内存中的存储包含3个主要部分:对象头、实例数据、对齐填充部分。32位和64位的虚拟机中对象头分别需要占用32bit和64bit。实例数据是实际的数据存储。为了提高效率,内存中数据存储不是连续的,而是按照8byte的整数倍进行存储。例如,只有一个boolean字段的类实例占16byte:头信息占8byte,boolean占1byte,为了对齐达到8的倍数会额外占用7byte。这就导致在JVM中有效信息的存储密度很低。
2.垃圾回收
- JVM的内存回收机制的优点和缺点同样明显,优点是开发者无须资源回收,提高开发效率,减少了内存泄漏的可能。但是内存回收是不可控的,在大数据计算的场景中,这个缺点被放大,TB、PB级的数据计算需要消耗大量的内存,在内存中产生海量的Java对象,一旦