在内存当中处理大数据计算的策略

我读取了大批量的论文到内存当中，然后又按照同名作者进行了分类，然后再对每一块论文根据相似度进行分块。最后再200w+的数据集上跑总是出现java heap space的错误，堆内存溢出。还出现过gc错误

java heap space 的错误原因：

在JVM中如果98％的时间是用于GC且可用的 Heap size 不足2％的时候将抛出此异常信息。

最后的解决办法是把之前分类的结果保存到本地文件当中，其中每一块的分类，使用json数据格式来存储。（使用jackson框架进行转换json）

针对每一块进行排歧的时候，再单独读取每一块。java读写本地文件还是蛮快的，并没有受太大的影响。

关于java内存泄露的介绍：https://www.ibm.com/developerworks/cn/java/l-JavaMemoryLeak/

此文提出，java对内存的回收，主要是通过有向图的方式。如果有对象在main根部不可达，那么就会在下次回收当中被回收掉。