Numa与Intel下一代Xeon处理器学习

NUMA与英特尔下一代Xeon处理器学习心得（1）

作者： 陈宇达 (Intel) (8 篇文章) 日期： 十一月 24, 2008 在 1:27 下午

作为一名工程师，一名做技术的工程师，NUMA也是我的近期工作重点之一。在工作时间，在茶余饭后，也看了些NUMA的资料，学习了英特尔下一代Xeon处理器。这里就是我的一点小结，一点心得，和感兴趣的朋友分享分享。

因时间有限，每次就总结一部分，慢慢道来，欲知详情，下回分晓！

 一、概述

从系统架构来说，目前的主流企业服务器基本可以分为三类：SMP (Symmetric Multi Processing，对称多处理架构)，NUMA (Non-Uniform Memory Access，非一致存储访问架构)，和MPP (Massive Parallel Processing，海量并行处理架构)。三种架构各有特点，本文将重点聊聊NUMA。

 

       为了了解NUMA，我这里就介绍一下NUMA与其他两种Non-NUMA的主要区别。

1．SMP（Symmetric Multi Processing）

       SMP是非常常见的一种架构。在SMP模式下，多个处理器均对称的连接在系统内存上，所有处理器都以平等的代价访问系统内存。它的优点是对内存的访问是平等、一致的；缺点是因为大家都是一致的，在传统的 SMP 系统中，所有处理器都共享系统总线，因此当处理器的数目增多时，系统总线的竞争冲突迅速加大，系统总线成为了性能瓶颈，所以目前 SMP 系统的处理器数目一般只有数十个，可扩展性受到很大限制。

 

2．MPP (Massive Parallel Processing)

       MPP则是逻辑上将整个系统划分为多个节点，每个节点的处理器只可以访问本身的本地资源，是完全无共享的架构。节点之间的数据交换需要软件实施。它的优点是可扩展性非常好；缺点是彼此数据交换困难，需要控制软件的大量工作来实现通讯以及任务的分配、调度，对于一般的企业应用而言过于复杂，效率不高。

 

3．NUMA（Non-Uniform Memory Access）

       NUMA架构则在某种意义上是综合了SMP和MPP的特点：逻辑上整个系统也是分为多个节点，每个节点可以访问本地内存资源，也可以访问远程内存资源，但访问本地内存资源远远快于远程内存资源。它的优点是兼顾了SMP和MPP的特点, 易于管理，可扩充性好；缺点是访问远程内存资源的所需时间非常的大。

 

       在实际系统中使用比较广的是SMP和NUMA架构。像传统的英特尔IA架构就是SMP，而很多大型机采用了NUMA架构。

      

       现在已经进入了多核时代，随着核数的越来越多，对于内存吞吐量和延迟有了更高的要求。正是考虑到这种需求，NUMA架构出现在了最新的英特尔下一代Xeon处理器中。

 

NUMA与英特尔下一代Xeon处理器学习心得（2）

作者： 陈宇达 (Intel) (8 篇文章) 日期： 十一月 28, 2008 在 12:49 上午

上回说到NUMA的一个简介，现在再扯扯NUMA与英特尔下一代Xeon处理器的关系，咱们切入正题

做为英特尔下一代的45nm Xeon处理器， 它会成为未来英特尔从台式机、笔记本到服务器全线产品的主流处理器。 比较前一代酷睿处理器平台，它的平台在对以前的系统架构和内存层次体系进行了重大改变的同时，对微架构也进行了全方位的细化， 主要改进表现在以下的特性：
 > 新的核心架构，最大可扩展到每个接口4个核心
 > 同步多线程(SMT) 技术最大允许每个处理器可以运行8个线程
 > 最新的点到点直连架构：Intel® QuickPath Interconnect (Intel® QPI)技术
 > Intel® QuickPath 集成内存控制器（IMC），DDR3接口
 > 微架构功能的改进，包括增强的SSE4.2指令集，改进的锁定支持，循环流和分支预测等特性
 > 更好的节能特性

下面详细介绍一下下一代Xeon处理器四大主要技术:

 > Intel® QuickPath Interconnect (Intel® QPI)技术
使用QPI架构代替了原来的FSB架构，QPI是基于数据包传输，高带宽低延迟的点到点传输技术，速度可以达到6.4GT/s，对双向传输的QPI总线连接来说理论最大值可以达到25.6GB/s的数据传输，远远高于原来基于FSB架构的数据带宽。

 > Intel® QuickPath 集成内存控制器（IMC）
在每一个socket上集成了独立的DDR3内存控制器（IMC）供接口访问内存，较之非IMC的平台，大大提高了带宽（使用DDR3－1333可以达到32GB/s的峰值带宽，较之以前的平台具有四到六倍的带宽提升），显著地降低了内存延迟，从而提升了性能，为每个CPU提供了访问本地内存资源的快速通道。与前一代平台不同的是，内存访问采用NUMA架构，对于NUMA-aware的应用来说可以得到更大的性能提升。DDR3的IMC最大支持到每个CPU接口96GB的DDR3内存容量，将来最大容量可以达到144GB，为高端的企业运算提供了强有力的内存支持。

同志们，NUMA在这就闪亮登场了！

 > 改进的电源管理
集成在芯片上的电源管理使得能耗的控制更加高效。

 > 同步多线程技术（SMT）
同步多线程技术使得每个核心可以同时执行2个线程，所以对于4核的CPU来说，就可以在每个处理器芯片上达到最大8个逻辑处理器

 

NUMA与英特尔下一代Xeon处理器学习心得（3）

作者： 陈宇达 (Intel) (8 篇文章) 日期： 十二月 3, 2008 在 10:32 上午

前面介绍了NUMA的很牛的架构，那目前系统层面上，软件对NUMA的支持怎么样呢？请见本文：NUMA架构软件支持栈

 

对于NUMA架构而言，经过了几十年的发展，目前的软件支持栈已经非常完备，从底层的操作系统，到之上的数据库、应用服务器，基本所有主流的产品均以为NUMA提供了充分的支持。

操作系统（Operating System）

 

目前，Windows Server 2003 和Windows XP 64-bit Edition, Windows XP等都是NUMA aware的，而Windows Vista则有了对Numa调度的支持。所有使用2.6版本以上kernel的Linux操作系统都能够支持NUMA。而Solaris，HP-Unix等UNIX操作系统也是充分支持NUMA架构的。

 

数据库（Database）

 

对于数据库产品来说，Oracle从8i开始支持NUMA,而之后的Oracle9i，Oracle10g，Oracle11g都能够支持NUMA。SQL Server 2005 和SQL Server 2008均有效的提供了对NUMA的支持。

 

中间件服务器（Middleware）

 

目前业界典型的受控程序主要是Java应用和.Net应用。由于内存分配，线程调度对于应用而言是透明的，完全是由虚拟机来处理。因此它们在NUMA环境下的性能表现主要取决于虚拟机的实现是否能充分利用到底层操作系统对NUMA的支持。

 

      综上所述，目前的软件栈对NUMA架构均已经作了充分的支持。那么应用软件如何支持NUMA架构呢？请见下面章节的论述。

 

NUMA与英特尔下一代Xeon处理器学习心得（4）

作者： 陈宇达 (Intel) (8 篇文章) 日期： 十二月 5, 2008 在 9:12 上午

在传统SMP系统上，所有CPU都以同样的方式通过一个共享内存控制器来访问内存，各CPU之间也是通过它来进行交流，所以很容易造成拥堵。而一个内存控制器所能够管理的内存数量也是非常有限的。此外，通过唯一的hub访问内存造成的延迟也是非常高的。

 

在NUMA结构下，每个计算机不再只有唯一的内存控制器，而是把整个系统分成多个节点。每个节点分别有自己的处理器和内存。系统中所有的节点都通过全互联的方式连接。所以，每当在系统中增加新的节点，系统所能够支持的内存和带宽都会增加，具有非常好的扩展性。

 

下面就讲讲NUMA的内存组织

 

在NUMA系统中，每个CPU可以访问两种内存：本地内存（Local Memory）和远端内存（Remote Memory）。和CPU在同一个节点的内存称为本地内存，访问延迟非常低。和CPU在不同节点上的内存叫做远端内存，CPU需要通过节点互联方式访问，所以访问延迟要比访问本地内存长。

 

从软件的角度来看，远端内存和本地内存是以同样的方式访问的。理论上讲，NUMA系统可以被软件视为与SMP同样的系统，不区分本地和远端内存。但是如果追求更好的性能，这个区别还是需要被考虑的。

 

经实验，对于常规的内存操作，如清空（Memset），块复制（Memcpy），流读写（Stream），指针追溯（Pointer Chase）等操作来说，本地内存的访问速度要远远优于远端内存。

 

由于 NUMA 同时使用本地内存和远端内存，因此，访问某些内存区域的时间会比访问其他内存区域的要长。本地内存和远端内存通常用于引用当前正在运行的线程。本地内存是指与当前正在运行线程的 CPU 位于同一节点上的内存。任何不属于当前正在运行的线程所在的节点的内存均为远端内存。访问远端内存的开销与访问本地内存的开销比率称为 NUMA 比率。如果 NUMA 比率为 1，则它是对称多处理 (SMP)。比率越高，访问其他节点内存的开销就越大。不支持 NUMA 的 应用程序有时在 NUMA 硬件上的执行效果非常差。

 

由于访问本地内存和远端内存的开销是有区别的，所以在NUMA模式下，如果每个线程更多的是访问本地内存，那么性能相比而言会有一定提升。