技术项目 - 有趣的虚拟机NUMA问题

事 实证明在大内存进程上使用NUMA（分布式内存存取）技术并不容易，我们在试图更新我们的MySQL初始化脚本到世界级水准的时候发现了这个问题。正如我 们之前所述，当前的最佳做法是为MySQL、 MongoDB、 Memcached 和 Java等大内存进程系统使用 numactl 来设置完全交叉存取的 NUMA 系统模式。这可以防止在未知的核心内存类型上运行缓慢，还可以避免在其他节点还有足够空闲内存时发生交换（也即虚拟内存的使用）。

但是我 们发现，至少在Xen虚拟机使用的CentOS 5的某些版本上，NUMA未被编译进去，自然也不被支持。虽然还不是特别清楚，但这似乎是为了避免某些情况下的内核引导故障。这样做的结果是，NUMA 不被支持，因此 numactl 也就没用了，但是我们依然应该注意别发生交换问题，即便是在 NUMA 硬件上。

我们现在正准备用一个不同的内核来为虚拟机启用NUMA机制，虽然这可能没多少意义，然后我们会使用numactl来设置基本上防止NUMA发生的交叉存取模式（这样，至少大内存进程可能因为NUMA意识到位置问题而受益，当然，不包括内核和其他进程）。

我们还没有仔细考虑的另一种方案是在启动的时候关闭NUMA支持，理论上这样做将会运行在类似交叉存取的模式，也可以解决问题，很有意思。