ArrayList使用内存映射文件

介绍

内存中的计算由于负担得起的硬件而开始兴起，大多数数据保留在RAM中以满足延迟和吞吐量的目标，但是将数据保留在RAM中会增加垃圾收集器的开销，尤其是在您不预先分配的情况下。 因此，有效地我们需要一种无垃圾/无垃圾的方法来避免GC打h

无垃圾/无垃圾数据结构

有两种选择可以实现它

对象池

对象池模式是一个很好的解决方案，我在Lock Less Object Pool博客中写过

堆外对象

JVM对创建堆外对象提供了很好的支持。 如果您走这条高速公路，并且高速公路有其自身的风险，您可以摆脱GC暂停！

就像世界上最好的一样，这是堆与堆的混合。

内存映射文件将允许映射内存中的部分数据，并且该内存将由OS管理，因此它将在正在映射文件的JVM进程中创建非常少的内存开销。 这可以帮助以无垃圾方式管理数据，并且您可以让JVM管理大型数据。 内存映射文件可用于开发IPC，我在Power-of-java-memorymapped-file博客中写道。 在此博客中，我将创建由MemoryMapped File备份的ArrayList，此阵列列表可以存储数百万个对象，几乎没有GC开销。 听起来很疯狂，但有可能。

让我们行动起来

在此测试中，我使用具有以下属性的Instrument对象

–整数ID

–双倍价格

因此，每个对象都是12个字节。 这个新的数组列表包含1000万个对象，我将尝试评估写入器/读取器的性能

作家表现

X轴 –没有读数
Y轴 –以毫秒为单位增加一千万的时间

添加1000万个元素大约需要70毫秒，这非常快。

作家吞吐量

让我们看一下性能的另一个方面，即吞吐量：

X轴 –没有读数
Y轴 –吞吐量/秒，百万

作家吞吐量令人印象深刻，我的范围介于1.38亿到1.42亿之间

读者表现

X轴 –没有读数
Y轴 –读取1000万以毫秒为单位的时间

读取1000万条记录大约需要44毫秒，非常快。 凭借这种性能，您肯定会挑战数据库。
读者吞吐量

X轴 –没有读数
Y轴 –吞吐量/秒，百万

哇吞吐量很棒，每秒220+百万

以1.38亿/秒的写入器吞吐量和2.2亿/秒的读取器吞吐量来看，它看起来非常有前途。

与数组列表比较

让我们比较BigArrayList和ArrayList的性能，

作家吞吐量– BigArrayList与ArrayList

BigArrayList的吞吐量几乎恒定在1.38亿/秒， ArrayList以5000万 /秒开始，而下降到500万以下。

ArrayList有很多问题，这是由于

–阵列分配

–阵列复制

–垃圾收集开销

在这种情况下， BigArrayList是赢家，它比arraylist快7倍 。

读取器吞吐量– BigArrayList与ArrayList

ArrayList的性能比BigArrayList更好，大约快1倍。

在这种情况下，BigArrayList较慢，因为

–随着请求更多数据，它必须将映射文件保留在内存中

–取消封送的成本

BigArrayList的读取器吞吐量为220+百万/秒，它仍然非常快，只有极少数的应用程序希望比此更快地处理消息。

因此，对于大多数用例来说，这应该可行。

使用以下技术可以提高阅读器性能

–从映射的流中批量读取消息

–通过使用索引来预取消息，就像CPU一样

通过进行上述更改，我们可以将性能提高几百万美元，但是我认为，在大多数情况下，当前的性能还是不错的

结论

内存映射文件是值得研究的领域，它可以解决许多性能问题。 Java现在正被用于开发交易应用程序，GC从一开始就是您必须回答的一个问题，您需要找到一种使GC保持快乐的方法，而MemoryMapped是GC会喜欢的一件事。

该博客使用的代码可在@GitHub上获得 ，我使用2gb内存进行了测试。 代码无法处理某些极端情况，但足以证明MemoryMapped文件在许多情况下都能胜出。

参考： ArrayList，使用我们的JCG合作伙伴 Ashkrit Sharma在“您准备好了”博客上的使用内存映射文件 。

翻译自: https://www.javacodegeeks.com/2013/07/arraylist-using-memory-mapped-file.html