最近需要实现将 XML 文件中存储的数据统一读取入内存,并快速查询指定数据的功能。当 XML 中的数据量不大时,这个功能非常简单,选择 Dictionary 数据结构,按键值对的方式存储数据就好了,查询也十分便捷。然而,我处理的 XML 数据小则几百万条,大则几千万条,使用传统的方式在 .NET4.0 下会报 “System.OutOfMemory” 的错误。这主要是因为 .NET4.0 下有个硬性限制,单个对象不能超过 2G 。而在 .NET4.5 之后,则可以通过配置程序的 *.exe.config 文件开启超大对象支持,来解决这个问题。当然,必须保证你是 X64 的程序,并且物理内存足够。由于我的程序由于一些第三方开发库限制,必须是基于 .NET4.0 ,虽然物理内存足够,这种方法并不适用。
研究了一下,最后我的解决方案还蛮 Tricky 的,分享给大家。
使用固定长度的Dictionary
可变长度的 Dictionary 在后台实现时,超过某个长度就会自动扩展容量。当数据量很大的时候,这个扩容的过程非常耗费时间和内存,有时候甚至它会占用两倍于当前数据大小的内存。为了避免这种问题,应该使用定长的 Dictionary ,防止它增长。在我的程序中,最大可以将这个长度设置为 4000000 。读者可以按需调整。
// 示例:
Dictionary<long, string> dic = new Dictionary<long, string>(4000000);
创建Dictionary列表对象
既然单个对象不能超过 2G ,那么可以使用多个对象拆分存储不就好了。于是,我试着创建了几个 Dictionary 对象,当前一个 Dictionary 对象的长度超过固定值时,我就将后面的数据存储在下一个 Dictionary 对象中。经过测试,这种方法是可行的。之所以说这个解决方案蛮 Tricky ,就是这个原因。
这里又引申出几个问题,拆分成多少个 Dictionary 对象合适?每个查询数据的地方都需要写循环查询每个 Dictionary 的代码,比较冗余。于是,我将这种方法封装成了一个单独的类,重写了添加、查询的方法。我没有写删除的方法,因为我不需要删除,有需求的读者可以自己写,比较简单。
类代码如下,可参考。
public class NodeDicList
{
private