java 大量数据保存_使用Java保存大量数据的最佳实践

这是一个非常广泛的问题,所以答案也很广泛.解决方案取决于(至少)这三件事：

>您的条目的大小

存储10,000,000个整数将需要大约40MiB的内存,而存储10,000,000 x 1KiB记录将需要超过9GiB.这是两个不同的问题.千万个整数在任何库存Java集合中存储在内存中是微不足道的,而将9GiB保留在内存中将迫使您调整和调整Java堆和垃圾收集器.如果条目更大,比如1MiB,那么你可以完全忘记内存存储.相反,您需要专注于寻找一个好的磁盘支持的数据结构,也许是一个数据库.

>您正在使用的硬件

在具有8 GiB内存的计算机上存储一千万条1KiB记录与将它们存储在具有128GiB的服务器上的记录不同.使用前一台机器几乎不可能的事情对后者来说是微不足道的.

>您要执行的计算类型

你已经提到过排序了,所以会想到像TreeMap或者PriorityQueue这样的东西.但这是最密集的计算吗？你用它来分类它们的关键是什么？您是否计划根据非关键的其他属性定位(获取)实体？如果是这样,那需要单独计划.否则,您需要遍历所有一千万条目.

您的计算是在单个线程还是多个线程中运行？如果您可能同时修改了数据,则需要单独的解决方案.诸如TreeMap和PriorityQueue之类的数据结构必须被锁定或替换为并发结构,例如ConcurrentLinkedHashMap或ConcurrentSkipListMap.