C# + .NET4.0使用超大Dictionary内存不足问题

最近需要实现将 XML 文件中存储的数据统一读取入内存，并快速查询指定数据的功能。当 XML 中的数据量不大时，这个功能非常简单，选择 Dictionary 数据结构，按键值对的方式存储数据就好了，查询也十分便捷。然而，我处理的 XML 数据小则几百万条，大则几千万条，使用传统的方式在 .NET4.0 下会报 “System.OutOfMemory” 的错误。这主要是因为 .NET4.0 下有个硬性限制，单个对象不能超过 2G 。而在 .NET4.5 之后，则可以通过配置程序的 *.exe.config 文件开启超大对象支持，来解决这个问题。当然，必须保证你是 X64 的程序，并且物理内存足够。由于我的程序由于一些第三方开发库限制，必须是基于 .NET4.0 ，虽然物理内存足够，这种方法并不适用。

研究了一下，最后我的解决方案还蛮 Tricky 的，分享给大家。

使用固定长度的Dictionary

可变长度的 Dictionary 在后台实现时，超过某个长度就会自动扩展容量。当数据量很大的时候，这个扩容的过程非常耗费时间和内存，有时候甚至它会占用两倍于当前数据大小的内存。为了避免这种问题，应该使用定长的 Dictionary ，防止它增长。在我的程序中，最大可以将这个长度设置为 4000000 。读者可以按需调整。

// 示例：
Dictionary<long, string> dic = new Dictionary<long, string>(4000000);

创建Dictionary列表对象

既然单个对象不能超过 2G ，那么可以使用多个对象拆分存储不就好了。于是，我试着创建了几个 Dictionary 对象，当前一个 Dictionary 对象的长度超过固定值时，我就将后面的数据存储在下一个 Dictionary 对象中。经过测试，这种方法是可行的。之所以说这个解决方案蛮 Tricky ，就是这个原因。

这里又引申出几个问题，拆分成多少个 Dictionary 对象合适？每个查询数据的地方都需要写循环查询每个 Dictionary 的代码，比较冗余。于是，我将这种方法封装成了一个单独的类，重写了添加、查询的方法。我没有写删除的方法，因为我不需要删除，有需求的读者可以自己写，比较简单。

类代码如下，可参考。

public class NodeDicList
{
   
    private