原文出自http://www-900.ibm.com/cn/support/viewdoc/detail?DocId=XPXP-6SX4ME，是由IBM的红皮书翻译过来的，从4月份至今终于全部翻译完成。文中所用的版本为ESX 3.0的早期测试版（公测前）。
（一）概述
ESX server3.0和VirtualCenter2.0代表了VMware的下一代虚拟机产品。重要的新特性包含了很多用户的新需求，例如添加了对iSCSI的支持。VMware早期的版本帮助用户将基于x86架构的低工作量的应用通过虚拟机的方式整合到一起。但一些大工作量的应用，例如数据库、信息系统、CRM、ERP等通常是不考虑使用虚拟机方式的。新产品的每ESX server支持4路SMP、16GB可用内存、32个逻辑CPU扩展到128个虚拟CPU将大大增加虚拟机的处理能力。DAS、DRS和整合备份将增加高可用性，可以使用户更快的从故障中恢复比使用更昂贵和复杂的物理的设备群集。
一.下面列举了一些ESX server3.0和VirtualCenter2.0的新特性：
·NAS和iSCSI支持：
存储虚拟机在成本低廉的NAS和iSCSI存储设备上的新特性可以使更多的用户可以使用VMware的虚拟功能。VMotion和DAS等特性也支NAS和iSCSI的存储设备。注：不支持NAS和iSCSI设备的同时使用。
·4路虚拟SMP
虚拟SMP允许创建超过一个虚拟CPU的虚拟机。ESX server3.0加上4路虚拟SMP将可以创建2个到4个虚拟cpu的虚拟机。这将允许进行虚拟像数据库等大工作量的应用。
·16GB虚拟机内存
ESX server3.0将允许用户为每个虚拟机分配16GB内存。16GB虚拟机内存和4路虚拟SMP结合起来将允许虚拟机运行更大工作量的应用，为更多应用提供虚拟环境的便利。
·Distributed Availability Services(DAS)
DAS是VirtualCenter2.0的选件，DAS检测运行故障的虚拟机并且自动的交替的重启它们在ESX server主机上。如果虚拟机的磁盘和配置文件存储在共享存储设备上，那么从故障中恢复的时间应该是很短暂的。DAS有一些智能化的规则来应用以适当的方式重启服务器，例如不会同时重启在一个ESX server主机上的配置负载均衡的虚拟机。DAS将为像群集这样高价值和高复杂性的应用提供高可用性。
·Distributed Resource Scheduling（DRS）
DRS是VirtualCenter2.0的选件，DRS允许自动的在不同的ESX主机之间分配虚拟机。当DAS发现一个虚拟机没有足够的可用资源时，会用VMotion迁移这个虚拟机从现在的ESX主机到另一个ESX主机。DRS也提供了人工移动虚拟机、停止和降低VMotion的活跃性的功能。用户可以指定某些虚拟机拒绝DRS的移动，以便这些虚拟机只能人工移动。DRS使得处理大工作量的ESX server利用自动分配资源实现最佳的性能。
·VMware Consolidated Backup
VMware Consolidated Backup是ESX server3.0的一个选件。Consolidated Backup为windows虚拟机提供了主机、局域网和无代理备份。它将提供ESX server3.0以前版本没有提供的功能，比如很容易完全备份一个运行着的虚拟机。一个虚拟硬盘可以创建一个在线的snapshot不需要虚拟机停机。一个独立的物理机器可以挂载snapshot并且用一个标准代理程序去备份上面的数据。这就意味着可以删除windows虚拟机上的备份代理程序。
·简单的服务控制台
ESX server3.0有一个基于Red Hat Enterprise Linux 3的新的控制台程序。新的控制台更像是一个标准的虚拟机，它占用更少的系统资源并且在用控制台安装第三方应用程序的时候更灵活。
·VMFS3
随着ESX server3.0引入了一个新的文件系统VMFS3,它有一些新的改进。比如，改进磁盘锁使更多的ESX主机访问共享存储；分布式目录结构更稳定；调整容量大小和新加LUNs更灵活。VMFS3不再是一个平面的操作系统，用户将可以创建目录和子目录。
·热添加虚拟硬盘
ESX server3.0将允许在虚拟机运行时添加虚拟硬盘。
·Multiple Snapshots
ESX server3.0加入了多snapshot特性，与VMware Workstation 5.x产品相似。
·大规模的管理
VirtualCenter 2可以管理上百个ESX主机和上千个虚拟机。VirtualCenter 2是为部署大量的虚拟环境设计的。
·统一的用户界面
ESX Server 3 and VirtualCenter 2共享一个新的可以从Windows终端或者浏览器访问的VMware客户端。新的客户端可以远程的管理一个ESX Server主机、虚拟机和VirtualCenter管理服务器。ESX Server3.0不再包含管理ESX Server的MUI，代替的是一个比以前更好的连接到ESX主机的新的VirtualCenter客户端，通过VirtualCenter可以直接进行所有的管理员操作。
·改进的虚拟结构管理
为了灵活的部署和方便管理的目的，VirtualCenter 2集中存储虚拟机的配置文件和VMware的licenses。VirtualCenter提供了一个新的认证服务器，可以安装在虚拟机或者一个物理机器上来管理有所的licenses信息。所有的虚拟机配置文件（.vmx、nvram等等）现在都存储在一个共享的VMFS卷上代替原来的独立存储在ESX server上。现在有一个基于web方式的远程终端允许系统管理员通过一个web浏览器连接到虚拟机代替原来需要安装一个远程终端的客户端。VirtualCenter 2增强了图形和计算的性能。
·改进的安全性
VirtualCenter的访问控制被加强了，可以使用自定义角色和权限，用户可以更灵活的设定哪些用户可以控制和改变资源。VirtualCenter帐户管理可以提供准确的帐户索引为查询哪个用户做了什么改变。
·扩展的ESX Server硬件支持
ESX Server3.0的硬件兼容列表包括的硬件范围更加广泛，使用户在选择硬件时更加灵活。新的服务器包括更多的双核CPU机型、更多的SAN产品、NAS、iSCSI和大量的I/O设备将被支持。网卡支持20个千兆网卡和26个10/100兆网卡。最大的逻辑cpu支持由16个增加到了32个，这些特性对扩展性能是有帮助的，比如配置一台多节点的x460服务器。
·改进的网络
为了支持更多的物理网卡，虚拟网络进行了改进，增加每个虚拟交换机端口到1024个、uplink端口到32个，每个ESX Server最多支持1024个虚拟交换机。每个网卡端口的绑定、传输修正策略和新的安全策略极大的改善了ESX网络配置的灵活性。
·扩展的ESX Server操作系统支持
ESX Server 3.0将支持新的操作系统版本，比如 Red Hat Enterprise Linux4。
·改进对Citrix的支持
Citrix是一个可以提高VMware运行性能的应用。ESX Server 3.0将改善Citrix的性能。
二.综合ESX和VirtualCenter
虽然ESX和VirtualCenter现在仍然是两个不同的产品，ESX Server 3.0
和VirtualCenter 2.0的将来发展是ESX Server需要依靠VirtualCenter的一些关键功能，例如VMotion、DAS和DRS。为了实现VMware的虚拟结构完整的高级功能用户将需要ESX Server和VirtualCenter，以及一些附加的选件比如VMotion、SMP等等。VirtualCenter2提供了扩展和增强的管理和安全功能，没有VirtualCenter2去部署ESX Server3是不被推荐的。ESX的一些基本的管理功能可以通过IBM Director的虚拟机管理组件来实现。
三.虚拟结构简介
什么是虚机结构？VMware的虚拟结构结合了那些基于工业标准x86架构服务器的允许进行整合和分区的软件产品，也包括那些管理那些软件产品和管理虚拟机运行的软件。ESX Server 3 and VirtualCenter 2添加的新特性包括：
·Distributed Availability Services
·Distributed Resource Scheduling
·Consolidated Backup
·Licensing Server
·New VirtualCenter Client
·WebCenter (Browser Client)
下面的图例表示了基本的虚拟结构的组成
组成中必须为物理服务器的是ESX Server和Consolidated Backup Server。VirtualCenter和Licensing Server可以被安装在物理服务器或者虚拟机上。Licensing Server集中储存和管理用户所有的license信息并且可以和VirtualCenter安装在同一个系统上。新的VirtualCenter Client是用来连接VirtualCenter和ESX Server，ESX Server2.x中做为web接口的MUI组件已经被删除了。WebCenter是一个访问虚拟机的web接口，管理员可以给那些不希望有访问VirtualCenter权限的用户使用WebCenter。使用WebCenter不需要在客户端安装软件，通过客户端的web浏览器即可以使用WebCenter访问虚拟机。DAS和DRS特性可以通过在Licensing Server中加入license信息来使用，不需要安装任何软件或附加的物理设备。Consolidated backup功能要求有一个物理的Windows服务器，这个服务器作为所有虚拟机的备份代理服务器，不需要安装附加的软件在ESX或者VirtualCenter服务器上。
四.VirtualCenter的特性和概念
VirtualCenter 2提出了一些新的特性和概念与我们所熟悉的VirtualCenter1.x版本所不同，VirtualCenter2.0的层次结构使用户在逻辑上考虑如何设计虚拟结构时更灵活。下面仅仅是一个简短的介绍，请参考VMware的官方文档为如何配置和使用VirtualCenter的细节。
·群集
群集是VirtualCenter2.0的一个重要的新特性。群集是将多个ESX服务器组合在一起，通过DRS实现负载均衡、通过DAS实现故障切换。一个群集可以设置成DRS群集、DAS群集或者兼顾两者。如果有DRS或者DAS组件就可以建立一个群集。
·资源池
资源池是VirtualCenter2.0的另一个重要的新特性。基本上一个资源池是一个虚拟机上可分配的cpu和内存资源的集合。cpu和内存的数量大小用单位MHz和MB表示。资源池使用一个适当的共享机制来分配cpu和内存资源当虚拟机之间发生资源的争用时。下面举一个资源池的例子来说明，一个总共有cpu资源12GHz和内存32GB的ESX主机，用户创建了一个名称是web dev、大小为cpu4GHz和内存8GB资源池给web开发部门使用，在这个资源池里开发者们可以在虚拟机间按照他们的想法划分资源使用。资源池也可以继续划分子资源池。
·数据中心
数据中心特性为连接在一个网络和数据存储上的虚拟机提供了一个容器。这更像一个物理的位置，例如London数据中心、Denver数据中心。另外的特性像群集、资源池和文件夹可以被包含在数据中心之下。数据中心是一个VMotion范围因为那些包含的系统连接在同一个共享存储上(SAN、SCSI、NAS)并且可以访问同一个物理网络。
·文件夹
文件夹是一个逻辑上的容器帮助用户在VirtualCenter下管理特性。文件夹可以包括数据中心、群集、ESX主机、虚拟机和其他文件夹。在VirtualCenter中有很多种不同的方式可以通过文件夹来管理特性。例如可以管理数据中心通过物理位置，一个美国文件夹包括New York、Phoenix和Chicago数据中心，一个欧洲文件夹包括London、Paris和Milan数据中心。同样也有很多不同的方式来管理ESX主机，例如Intel系统在一个文件夹中而AMD系统在另一个文件夹中。也可以管理虚拟机通过不同的职能部门，例如开发、产品和运输等等。正如你看到的，文件夹和其他的新特性可以帮助用户更灵活的组织自己的虚拟结构。
（二）NUMA、双核和超线程与VMware
VMware ESX Server 3.0将支持的最大逻辑CPU数量增大到了32个，下表对比了ESX 2.5.x和3.0在单核、双核和超线程的不同情况下对x460服务器多节点配置的支持。
虽然2节点、8个双核cpu在开启Hyper-Threading（2节点x4CPUx2核x2超线程=32）和8节点、32个单核CPU这两种配置在ESX 3.0支持32个逻辑cpu的情况下都是可用的，但是后者将会有更好的运行效率。
下面我们需要了解一下关于处理器的三个不同的概念
·The socket（cpu插座）
·The core（cpu内核）
·The Hyper-Threading（超线程）
下图描述了上述三个概念的关系
注意一个单节点配置实际就是一个单NUMA节点，因此在多节点ESX配置中NUMA节点的数量和x460机器的数量是相等的。示例见下图
一.NUMA与ESX Server
VMware ESX Server智能的、自动适应的NUMA时序安排和内存内存分配策略可以管理所有的虚拟机，使管理员不需要手动处理虚拟机之间复杂的平衡关系。如果系统管理员有很好的技术水平也可以手动调整系统以获得最好的运行效率。忽略用户的操作系统类型进行优化工作是十分重要的。ESX Server提供了有力的、清晰的NUMA支持即使用户的操作系统不支持NUMA硬件，比如Windows NT 4.0。这个特性使得VMware ESX Server可以使用最新的，最尖端的硬件设备，即使需要运行一些旧的操作系统。
1.下面介绍几种VMware NUMA优化算法
·Home nodes and initial placement
VMware ESX Server为每个虚拟机开始运行时分配一个主节点，虚拟机只使用它的主节点上的CPU，同时也分配使用主节点上的内存。因此，如果虚拟机的主节点不改变，虚拟机就会仅使用本地内存，避免了使用其他NUMA节点的远程内存所造成的对系统性能的影响。新虚拟机安装顺序分配主目录，第一个虚拟机分别在第一个节点，第二个虚拟机分配在第二个节点，依此类推。这个策略保证了内存将被所以节点平均的使用。
一些常用的操作系统比如windows2003，提供了对这个级别的NUMA支持，也被叫做initial placement方式。这种方式对单一的并且在系统运行中负载不发生改变的应用已经足够了，例如benchmark测试。但它无法保证一个数据中心级别的、并且负载需要随时间经常变化的应用的顺畅和高效的运行。为了更好的理解一个仅仅使用initial placement方式系统的缺点，请参考下面的例子：一个系统管理员建立了4个虚拟机，前两个运行在节点1上，后两个运行在节点2上。如果节点1上的两个虚拟机关闭或者处于空闲状态。那么系统将处于不平衡的运行状态，因为所有的负载都加在了节点1上。即使允许剩下的虚拟机远程运行在节点2上，运行效率仍然是很低的，因为它仍然只能使用原来节点上的内存。
为了克服initial placement方式的缺点，VMware ESX Server结合了传统的VMware ESX Server和一个动态的负载均衡的算法。周期性的（系统默认为2秒）系统检查不同节点上的负载情况来决定是否通过在节点间移动虚拟机来使负载平衡。计算需要考虑每个虚拟机的相对优先权以确保调整负载工作的公平。负载均衡选择一个适当的虚拟机改变它的主节点到一个负载最少的节点。当可能的情况下，系统移动虚拟机到一个它已经有内存使用的目标节点。移动后，虚拟机在新的主节点上分配内存，除非它再次移动。它仅仅运行在新主节点的CPU上。
负载均衡是一个维护平衡并且保证所以节点资源都充分利用的有力工具。然而，负载均衡可能会移动虚拟机到一个它分配内存很少或者根本没有分配内存的节点上。在这种情况下，虚拟机将因为大量的对远程内存的访问而影响运行效率。ESX Server可以通过从虚拟机的原始节点到新主节点迁移内存来消除这种影响，系统在原始节点上选择一个4KB的页面并且拷贝它的数据到目标节点的一个页面。系统使用VMmonitor层和CPU的内存管理硬件去正确的映射内存，以便在将来在目标节点上进行内存调用不会存在问题。这样就消除了调用远程内存对系统运行效率的影响。当虚拟机移动到一个新的节点，ESX Server将立刻开始内存迁移，通常以大约每秒种100KB、25页面的速度进行。当虚拟机只有非常少的内存仍然在远程节点或者目标节点上只有很少的内存可用的情况下，系统会调整这个速度以避免负载过重。内存迁移算法不会进行一些不必要的内存迁移操作，比如虚拟机只是移动到新的节点很短的时间。
将initial placement、动态的负载均衡和智能的内存迁移相结合起来，它们将确保NUMA系统中内存的运行效率，即使在运行中负载发生变化。当运行过程中负载发生变化，例如新的虚拟机开始运行，系统开始进行负载调整、内存和虚拟机的迁移以达到一个最佳的配置。经过一段很短的时间，系统调整完毕进入一个稳定运行的状态。
·Manual NUMA controls
一些有很高技术水平的系统管理员通过手动配置可以更好的调整内存分配和CPU使用。这是十分有用的，例如，如果一个虚拟机运行着一个对内存敏感的应用，比如一个运行在内存中的数据库或者大数据量的科学计算。如果将虚拟机内存100%分配在本地，这些应用的运行效率可以有很大提高，但是应用虚拟机的NUMA自动优化通常会有少部分内存（5－15%）被分配在远程节点。系统管理员也可能希望手动分配NUMA资源，因为有时系统的应用很简单并且不会发出变化。例如一个8个CPU的系统运行8个应用简单的虚拟机就很容易手动进行优化配置。
VMware ESX Server提供了对NUMA配置的控制，以便系统管理员可以控制所有虚拟机的内存和CPU分配。ESX Server web管理界面提供了配置的接口，用户可以通过Only Use Processors选项为虚拟机指定使用一个特定节点的CPU，通过Memory Affinity选项指定分配特定节点的内存。如果在进行这些设定之前启动虚拟机，它将仅运行在目前节点上并且使用本地内存。系统管理员可以手动移动虚拟机到另一个节点在虚拟机启动之后。在虚拟机的内存从先前的节点迁移到新节点的过程中，页面迁移速度也是可以手动调整的。VMware ESX Server的官方文档包括对各种选项的更完整和详细的说明。
注意手动的调整NUMA资源分配可能干涉ESX Server资源管理分配算法，它试图使每个虚拟机平均分配系统的资源。例如，如果10个运行着CPU敏感应用的虚拟机手动指定在一个节点上，仅有2个虚拟机指定分配在另一个节点上，那么这样的系统就不可能使所有虚拟机平均的分配系统资源了。在手动配置时应该注意这些问题。
2.结论
VMware ESX Server提供了丰富的手动和自动的NUMA优化手段，允许用户充分的利用自己的硬件平台。通过一个动态的、自动优化的NUMA负载平衡机制结合内存迁移技术，在应用发生变化的情况下仍然可以维持高效的内存运行效率。如果需要更多关于NUMA系统配置的细节信息，请参考ESX Server官方手册或者numa（8）手册在一个ESX Server系统上。
3.实例
我们举一个简单的例子说明上面的算法，在例子中我们创建一个4路的虚拟机在一个2节点8路的单核开启超线程的服务器上。然后我们在4路虚拟机上模拟重负载观察结果。下面是命令esxtop的输出结果：
ESX server3.0和VirtualCenter2.0代表了VMware的下一代虚拟机产品。重要的新特性包含了很多用户的新需求，例如添加了对iSCSI的支持。VMware早期的版本帮助用户将基于x86架构的低工作量的应用通过虚拟机的方式整合到一起。但一些大工作量的应用，例如数据库、信息系统、CRM、ERP等通常是不考虑使用虚拟机方式的。新产品的每ESX server支持4路SMP、16GB可用内存、32个逻辑CPU扩展到128个虚拟CPU将大大增加虚拟机的处理能力。DAS、DRS和整合备份将增加高可用性，可以使用户更快的从故障中恢复比使用更昂贵和复杂的物理的设备群集。
一.下面列举了一些ESX server3.0和VirtualCenter2.0的新特性：
·NAS和iSCSI支持：
存储虚拟机在成本低廉的NAS和iSCSI存储设备上的新特性可以使更多的用户可以使用VMware的虚拟功能。VMotion和DAS等特性也支NAS和iSCSI的存储设备。注：不支持NAS和iSCSI设备的同时使用。
·4路虚拟SMP
虚拟SMP允许创建超过一个虚拟CPU的虚拟机。ESX server3.0加上4路虚拟SMP将可以创建2个到4个虚拟cpu的虚拟机。这将允许进行虚拟像数据库等大工作量的应用。
·16GB虚拟机内存
ESX server3.0将允许用户为每个虚拟机分配16GB内存。16GB虚拟机内存和4路虚拟SMP结合起来将允许虚拟机运行更大工作量的应用，为更多应用提供虚拟环境的便利。
·Distributed Availability Services(DAS)
DAS是VirtualCenter2.0的选件，DAS检测运行故障的虚拟机并且自动的交替的重启它们在ESX server主机上。如果虚拟机的磁盘和配置文件存储在共享存储设备上，那么从故障中恢复的时间应该是很短暂的。DAS有一些智能化的规则来应用以适当的方式重启服务器，例如不会同时重启在一个ESX server主机上的配置负载均衡的虚拟机。DAS将为像群集这样高价值和高复杂性的应用提供高可用性。
·Distributed Resource Scheduling（DRS）
DRS是VirtualCenter2.0的选件，DRS允许自动的在不同的ESX主机之间分配虚拟机。当DAS发现一个虚拟机没有足够的可用资源时，会用VMotion迁移这个虚拟机从现在的ESX主机到另一个ESX主机。DRS也提供了人工移动虚拟机、停止和降低VMotion的活跃性的功能。用户可以指定某些虚拟机拒绝DRS的移动，以便这些虚拟机只能人工移动。DRS使得处理大工作量的ESX server利用自动分配资源实现最佳的性能。
·VMware Consolidated Backup
VMware Consolidated Backup是ESX server3.0的一个选件。Consolidated Backup为windows虚拟机提供了主机、局域网和无代理备份。它将提供ESX server3.0以前版本没有提供的功能，比如很容易完全备份一个运行着的虚拟机。一个虚拟硬盘可以创建一个在线的snapshot不需要虚拟机停机。一个独立的物理机器可以挂载snapshot并且用一个标准代理程序去备份上面的数据。这就意味着可以删除windows虚拟机上的备份代理程序。
·简单的服务控制台
ESX server3.0有一个基于Red Hat Enterprise Linux 3的新的控制台程序。新的控制台更像是一个标准的虚拟机，它占用更少的系统资源并且在用控制台安装第三方应用程序的时候更灵活。
·VMFS3
随着ESX server3.0引入了一个新的文件系统VMFS3,它有一些新的改进。比如，改进磁盘锁使更多的ESX主机访问共享存储；分布式目录结构更稳定；调整容量大小和新加LUNs更灵活。VMFS3不再是一个平面的操作系统，用户将可以创建目录和子目录。
·热添加虚拟硬盘
ESX server3.0将允许在虚拟机运行时添加虚拟硬盘。
·Multiple Snapshots
ESX server3.0加入了多snapshot特性，与VMware Workstation 5.x产品相似。
·大规模的管理
VirtualCenter 2可以管理上百个ESX主机和上千个虚拟机。VirtualCenter 2是为部署大量的虚拟环境设计的。
·统一的用户界面
ESX Server 3 and VirtualCenter 2共享一个新的可以从Windows终端或者浏览器访问的VMware客户端。新的客户端可以远程的管理一个ESX Server主机、虚拟机和VirtualCenter管理服务器。ESX Server3.0不再包含管理ESX Server的MUI，代替的是一个比以前更好的连接到ESX主机的新的VirtualCenter客户端，通过VirtualCenter可以直接进行所有的管理员操作。
·改进的虚拟结构管理
为了灵活的部署和方便管理的目的，VirtualCenter 2集中存储虚拟机的配置文件和VMware的licenses。VirtualCenter提供了一个新的认证服务器，可以安装在虚拟机或者一个物理机器上来管理有所的licenses信息。所有的虚拟机配置文件（.vmx、nvram等等）现在都存储在一个共享的VMFS卷上代替原来的独立存储在ESX server上。现在有一个基于web方式的远程终端允许系统管理员通过一个web浏览器连接到虚拟机代替原来需要安装一个远程终端的客户端。VirtualCenter 2增强了图形和计算的性能。
·改进的安全性
VirtualCenter的访问控制被加强了，可以使用自定义角色和权限，用户可以更灵活的设定哪些用户可以控制和改变资源。VirtualCenter帐户管理可以提供准确的帐户索引为查询哪个用户做了什么改变。
·扩展的ESX Server硬件支持
ESX Server3.0的硬件兼容列表包括的硬件范围更加广泛，使用户在选择硬件时更加灵活。新的服务器包括更多的双核CPU机型、更多的SAN产品、NAS、iSCSI和大量的I/O设备将被支持。网卡支持20个千兆网卡和26个10/100兆网卡。最大的逻辑cpu支持由16个增加到了32个，这些特性对扩展性能是有帮助的，比如配置一台多节点的x460服务器。
·改进的网络
为了支持更多的物理网卡，虚拟网络进行了改进，增加每个虚拟交换机端口到1024个、uplink端口到32个，每个ESX Server最多支持1024个虚拟交换机。每个网卡端口的绑定、传输修正策略和新的安全策略极大的改善了ESX网络配置的灵活性。
·扩展的ESX Server操作系统支持
ESX Server 3.0将支持新的操作系统版本，比如 Red Hat Enterprise Linux4。
·改进对Citrix的支持
Citrix是一个可以提高VMware运行性能的应用。ESX Server 3.0将改善Citrix的性能。
二.综合ESX和VirtualCenter
虽然ESX和VirtualCenter现在仍然是两个不同的产品，ESX Server 3.0
和VirtualCenter 2.0的将来发展是ESX Server需要依靠VirtualCenter的一些关键功能，例如VMotion、DAS和DRS。为了实现VMware的虚拟结构完整的高级功能用户将需要ESX Server和VirtualCenter，以及一些附加的选件比如VMotion、SMP等等。VirtualCenter2提供了扩展和增强的管理和安全功能，没有VirtualCenter2去部署ESX Server3是不被推荐的。ESX的一些基本的管理功能可以通过IBM Director的虚拟机管理组件来实现。
三.虚拟结构简介
什么是虚机结构？VMware的虚拟结构结合了那些基于工业标准x86架构服务器的允许进行整合和分区的软件产品，也包括那些管理那些软件产品和管理虚拟机运行的软件。ESX Server 3 and VirtualCenter 2添加的新特性包括：
·Distributed Availability Services
·Distributed Resource Scheduling
·Consolidated Backup
·Licensing Server
·New VirtualCenter Client
·WebCenter (Browser Client)
下面的图例表示了基本的虚拟结构的组成
组成中必须为物理服务器的是ESX Server和Consolidated Backup Server。VirtualCenter和Licensing Server可以被安装在物理服务器或者虚拟机上。Licensing Server集中储存和管理用户所有的license信息并且可以和VirtualCenter安装在同一个系统上。新的VirtualCenter Client是用来连接VirtualCenter和ESX Server，ESX Server2.x中做为web接口的MUI组件已经被删除了。WebCenter是一个访问虚拟机的web接口，管理员可以给那些不希望有访问VirtualCenter权限的用户使用WebCenter。使用WebCenter不需要在客户端安装软件，通过客户端的web浏览器即可以使用WebCenter访问虚拟机。DAS和DRS特性可以通过在Licensing Server中加入license信息来使用，不需要安装任何软件或附加的物理设备。Consolidated backup功能要求有一个物理的Windows服务器，这个服务器作为所有虚拟机的备份代理服务器，不需要安装附加的软件在ESX或者VirtualCenter服务器上。
四.VirtualCenter的特性和概念
VirtualCenter 2提出了一些新的特性和概念与我们所熟悉的VirtualCenter1.x版本所不同，VirtualCenter2.0的层次结构使用户在逻辑上考虑如何设计虚拟结构时更灵活。下面仅仅是一个简短的介绍，请参考VMware的官方文档为如何配置和使用VirtualCenter的细节。
·群集
群集是VirtualCenter2.0的一个重要的新特性。群集是将多个ESX服务器组合在一起，通过DRS实现负载均衡、通过DAS实现故障切换。一个群集可以设置成DRS群集、DAS群集或者兼顾两者。如果有DRS或者DAS组件就可以建立一个群集。
·资源池
资源池是VirtualCenter2.0的另一个重要的新特性。基本上一个资源池是一个虚拟机上可分配的cpu和内存资源的集合。cpu和内存的数量大小用单位MHz和MB表示。资源池使用一个适当的共享机制来分配cpu和内存资源当虚拟机之间发生资源的争用时。下面举一个资源池的例子来说明，一个总共有cpu资源12GHz和内存32GB的ESX主机，用户创建了一个名称是web dev、大小为cpu4GHz和内存8GB资源池给web开发部门使用，在这个资源池里开发者们可以在虚拟机间按照他们的想法划分资源使用。资源池也可以继续划分子资源池。
·数据中心
数据中心特性为连接在一个网络和数据存储上的虚拟机提供了一个容器。这更像一个物理的位置，例如London数据中心、Denver数据中心。另外的特性像群集、资源池和文件夹可以被包含在数据中心之下。数据中心是一个VMotion范围因为那些包含的系统连接在同一个共享存储上(SAN、SCSI、NAS)并且可以访问同一个物理网络。
·文件夹
文件夹是一个逻辑上的容器帮助用户在VirtualCenter下管理特性。文件夹可以包括数据中心、群集、ESX主机、虚拟机和其他文件夹。在VirtualCenter中有很多种不同的方式可以通过文件夹来管理特性。例如可以管理数据中心通过物理位置，一个美国文件夹包括New York、Phoenix和Chicago数据中心，一个欧洲文件夹包括London、Paris和Milan数据中心。同样也有很多不同的方式来管理ESX主机，例如Intel系统在一个文件夹中而AMD系统在另一个文件夹中。也可以管理虚拟机通过不同的职能部门，例如开发、产品和运输等等。正如你看到的，文件夹和其他的新特性可以帮助用户更灵活的组织自己的虚拟结构。
（二）NUMA、双核和超线程与VMware
VMware ESX Server 3.0将支持的最大逻辑CPU数量增大到了32个，下表对比了ESX 2.5.x和3.0在单核、双核和超线程的不同情况下对x460服务器多节点配置的支持。
虽然2节点、8个双核cpu在开启Hyper-Threading（2节点x4CPUx2核x2超线程=32）和8节点、32个单核CPU这两种配置在ESX 3.0支持32个逻辑cpu的情况下都是可用的，但是后者将会有更好的运行效率。
下面我们需要了解一下关于处理器的三个不同的概念
·The socket（cpu插座）
·The core（cpu内核）
·The Hyper-Threading（超线程）
下图描述了上述三个概念的关系
注意一个单节点配置实际就是一个单NUMA节点，因此在多节点ESX配置中NUMA节点的数量和x460机器的数量是相等的。示例见下图
一.NUMA与ESX Server
VMware ESX Server智能的、自动适应的NUMA时序安排和内存内存分配策略可以管理所有的虚拟机，使管理员不需要手动处理虚拟机之间复杂的平衡关系。如果系统管理员有很好的技术水平也可以手动调整系统以获得最好的运行效率。忽略用户的操作系统类型进行优化工作是十分重要的。ESX Server提供了有力的、清晰的NUMA支持即使用户的操作系统不支持NUMA硬件，比如Windows NT 4.0。这个特性使得VMware ESX Server可以使用最新的，最尖端的硬件设备，即使需要运行一些旧的操作系统。
1.下面介绍几种VMware NUMA优化算法
·Home nodes and initial placement
VMware ESX Server为每个虚拟机开始运行时分配一个主节点，虚拟机只使用它的主节点上的CPU，同时也分配使用主节点上的内存。因此，如果虚拟机的主节点不改变，虚拟机就会仅使用本地内存，避免了使用其他NUMA节点的远程内存所造成的对系统性能的影响。新虚拟机安装顺序分配主目录，第一个虚拟机分别在第一个节点，第二个虚拟机分配在第二个节点，依此类推。这个策略保证了内存将被所以节点平均的使用。
一些常用的操作系统比如windows2003，提供了对这个级别的NUMA支持，也被叫做initial placement方式。这种方式对单一的并且在系统运行中负载不发生改变的应用已经足够了，例如benchmark测试。但它无法保证一个数据中心级别的、并且负载需要随时间经常变化的应用的顺畅和高效的运行。为了更好的理解一个仅仅使用initial placement方式系统的缺点，请参考下面的例子：一个系统管理员建立了4个虚拟机，前两个运行在节点1上，后两个运行在节点2上。如果节点1上的两个虚拟机关闭或者处于空闲状态。那么系统将处于不平衡的运行状态，因为所有的负载都加在了节点1上。即使允许剩下的虚拟机远程运行在节点2上，运行效率仍然是很低的，因为它仍然只能使用原来节点上的内存。
为了克服initial placement方式的缺点，VMware ESX Server结合了传统的VMware ESX Server和一个动态的负载均衡的算法。周期性的（系统默认为2秒）系统检查不同节点上的负载情况来决定是否通过在节点间移动虚拟机来使负载平衡。计算需要考虑每个虚拟机的相对优先权以确保调整负载工作的公平。负载均衡选择一个适当的虚拟机改变它的主节点到一个负载最少的节点。当可能的情况下，系统移动虚拟机到一个它已经有内存使用的目标节点。移动后，虚拟机在新的主节点上分配内存，除非它再次移动。它仅仅运行在新主节点的CPU上。
负载均衡是一个维护平衡并且保证所以节点资源都充分利用的有力工具。然而，负载均衡可能会移动虚拟机到一个它分配内存很少或者根本没有分配内存的节点上。在这种情况下，虚拟机将因为大量的对远程内存的访问而影响运行效率。ESX Server可以通过从虚拟机的原始节点到新主节点迁移内存来消除这种影响，系统在原始节点上选择一个4KB的页面并且拷贝它的数据到目标节点的一个页面。系统使用VMmonitor层和CPU的内存管理硬件去正确的映射内存，以便在将来在目标节点上进行内存调用不会存在问题。这样就消除了调用远程内存对系统运行效率的影响。当虚拟机移动到一个新的节点，ESX Server将立刻开始内存迁移，通常以大约每秒种100KB、25页面的速度进行。当虚拟机只有非常少的内存仍然在远程节点或者目标节点上只有很少的内存可用的情况下，系统会调整这个速度以避免负载过重。内存迁移算法不会进行一些不必要的内存迁移操作，比如虚拟机只是移动到新的节点很短的时间。
将initial placement、动态的负载均衡和智能的内存迁移相结合起来，它们将确保NUMA系统中内存的运行效率，即使在运行中负载发生变化。当运行过程中负载发生变化，例如新的虚拟机开始运行，系统开始进行负载调整、内存和虚拟机的迁移以达到一个最佳的配置。经过一段很短的时间，系统调整完毕进入一个稳定运行的状态。
·Manual NUMA controls
一些有很高技术水平的系统管理员通过手动配置可以更好的调整内存分配和CPU使用。这是十分有用的，例如，如果一个虚拟机运行着一个对内存敏感的应用，比如一个运行在内存中的数据库或者大数据量的科学计算。如果将虚拟机内存100%分配在本地，这些应用的运行效率可以有很大提高，但是应用虚拟机的NUMA自动优化通常会有少部分内存（5－15%）被分配在远程节点。系统管理员也可能希望手动分配NUMA资源，因为有时系统的应用很简单并且不会发出变化。例如一个8个CPU的系统运行8个应用简单的虚拟机就很容易手动进行优化配置。
VMware ESX Server提供了对NUMA配置的控制，以便系统管理员可以控制所有虚拟机的内存和CPU分配。ESX Server web管理界面提供了配置的接口，用户可以通过Only Use Processors选项为虚拟机指定使用一个特定节点的CPU，通过Memory Affinity选项指定分配特定节点的内存。如果在进行这些设定之前启动虚拟机，它将仅运行在目前节点上并且使用本地内存。系统管理员可以手动移动虚拟机到另一个节点在虚拟机启动之后。在虚拟机的内存从先前的节点迁移到新节点的过程中，页面迁移速度也是可以手动调整的。VMware ESX Server的官方文档包括对各种选项的更完整和详细的说明。
注意手动的调整NUMA资源分配可能干涉ESX Server资源管理分配算法，它试图使每个虚拟机平均分配系统的资源。例如，如果10个运行着CPU敏感应用的虚拟机手动指定在一个节点上，仅有2个虚拟机指定分配在另一个节点上，那么这样的系统就不可能使所有虚拟机平均的分配系统资源了。在手动配置时应该注意这些问题。
2.结论
VMware ESX Server提供了丰富的手动和自动的NUMA优化手段，允许用户充分的利用自己的硬件平台。通过一个动态的、自动优化的NUMA负载平衡机制结合内存迁移技术，在应用发生变化的情况下仍然可以维持高效的内存运行效率。如果需要更多关于NUMA系统配置的细节信息，请参考ESX Server官方手册或者numa（8）手册在一个ESX Server系统上。
3.实例
我们举一个简单的例子说明上面的算法，在例子中我们创建一个4路的虚拟机在一个2节点8路的单核开启超线程的服务器上。然后我们在4路虚拟机上模拟重负载观察结果。下面是命令esxtop的输出结果：
最低0.47元/天 解锁文章
2906
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
