当前服务器最大内存是多少？限制因素又是什么？

如果你曾经和服务器厂商打过交道，就会发现他们对于内存容量的渴求是极其贪婪的。是啊，电信、证券、量化这些不差钱的主顾在尝试了内存数据库百倍速度的高潮后，已经不能够回头了。毕竟0.01秒的响应提升，就意味着白花花的银子。当这个压力传导给提供机器的服务器厂商的时候，他们的内心一定是甜蜜又伴随着一丝酸楚的。24TB这个数字，框定了利润的上限，这是更多的金钱所不能突破的。这带来一个根本性的问题，单机服务器最大内存的极限是怎么确定的？它的制约因素有哪些？为了简化讨论范围，我们限定在占据服务器市场98%以上的X86服务器，并假设不受成本的约束。我们从CPU内核和操作系统、以及存储子系统两方面来寻找答案。CPU内核和操作系统操作系统和CPU内核都支持６４位地址空间，它能够访问的地址空间是2＾64＝16384 PB好大的空间，似乎永远也用不完。是不是这个是内存容量的极限呢？实际上即使在CPU内核中还有一个因子，限制了CPU和操作系统的寻址空间，那就是bitwidth。它决定了页表转换的地址长度，它现在最大是48位（我印象里），它可以从寄存器里面读出来，越新和服务器CPU，这个值越大。那么新的地址空间最大是多少呢？2＾48＝256 TB256TB，小了不少，是不是这就是内存容量的极限了呢？实际上并不是。内存子系统现代计算机系统的内存都由CPU内置的内存控制器来管理，为了寻找内存的极限，我们把目光投入到志强中的战斗机，E7服务器上。E7面向对高可靠性和高可扩展性需求强烈的用户，当然价格也十分感人。高可靠性说的是RAS，高可扩展性是说可以扩展为4路，8路，甚至16路服务器。所谓n路，通俗的说就是有n个物理CPU。16路服务器十分十分罕见，部分原因在于从8路扩展为16路后，保证cache一致性所发的snoop包会降低性能，在某些情况下得不偿失。我们这里就略过。8路服务器作为主流最高端服务器，它的内存最大能够达到多少呢？我们先来看一下它的内存子系统：E7 CPU后面并不直接插内存条DIMM，这点和E5不一样。内存条插在一个叫做SMB（Scalable Memory Buffer）的芯片后面。每个SMB支持两个Channel，每个Channel后面可以插3根DIMM(图里是两个，实际可插三个)。SMB和CPU直接通过一种叫做SMI Link（Scalable Memory Interconnect）的总线连接，一个CPU可以连接四个SMB。框图不够生动，我们来看个实际的例子：这个板子叫做Memory Riser，红框的部分就是SMB，有两个。蓝框的部分是内存插槽。大家数一下，可以看到一个SMB后面可以插6根DIMM，分别属于两个Channel。一个照的比较好的：来源:Dell E7服务器宣传照有的同学要问了，不是说好每个CPU后面接4个SMB吗？怎么才两个？别着急，因为每个CPU后面可以接两个Memory Riser：4路E7服务器，可以插8个Memory Riser插满8个Memory Riser好了，我们可以计算一下了，8路可以插16个Memory Riser，每个Memory Riser可以插12个DIMM:16 X 12 = 192根共可以插192根DIMM。现在焦点落在单根DIMM的容量上了。LRDIMM往往可以支持更大的内存容量（原理我以后再讲），目前据我所知，最大的LRDIMM容量是128GB。所以8路最大内存容量为：192 X 128 = 24576 GB = 24 TB现在你知道前面的24 TB哪里来的了吧！结论服务器最大支持的内存数量不在于是64位还是Bitwidth，而在于能够插多少内存条。如果是16路E7，最大内存可以达到48TB。16路以上极其罕见，我听说有64路的，但是没有碰到过，它的最大内存应该是192TB。E5系列内存相比E7就差一大截了。DIMM形式封装的傲腾内存在不远的将来也许会打破这种限制，傲腾DIMM内存可以达到2T以上每根，到那时也许bitwidth必须要加宽了。钱多的主顾纷纷表示，真香！