云计算数据中心网络的关键技术

云计算数据中心网络的关键技术

发表时间：2012-4-24 黄大川 来源：万方数据

关键字： 云计算 面向服务的架构 虚拟化 数据中心以太网

信息化调查 找茬 投稿 收藏 评论 好文推荐 打印 社区分享

简要介绍了云计算对数据中心基础架构尤其是数据中心网络的技术要求,着重介绍了云计算数据中心网络的一些关键技术,以及如何以这些技术构建分布式虚拟化的数据中心网络。

前言

    自动化是实现云计算环境管理的重要一步，当数据中心资源虚拟化以后，可以通过面向服务的方式，采用策略推送的方法实现数据中心的自动化部署、性能监控、资源的自动部署和回收、计算和存储能力的自动迁移以及数据的自动备份和容灾，从而真正实现云计算环境的自动化。

1数据中心网络的技术要求

    数据中心整合是云计算之路上需要迈出的第一步，只有完成了数据中心的基础资源整合，才能在整合资源的基础上实现资源的重复使用。资源的整合也为系统由紧藕合转向松藕合的模式提供了必要的条件。数据中心的整合通常包括数据/存储的整合、计算资源的整合、数据中心网络的整合3个方面。

    a)数据/存储整合是数据中心整合的第一步，也是非常关键的一步。数据/存储整合一般是整合业务支撑的关键数据，通常也是最重要的结构化数据。数据/存储整合为应用系统的整合和数据容灾备份提供了可能性。由于结构化数据对vo的要求很高，且通常以裸设备的方式来放置，一般会采用容量大、性能好的存储设备(FC/FCoE)来整合。对于系统中更多的对I/0要求相对较低，但数据量巨大的非结构化数据，可以采用NAS或分布式文件系统(如HDFS )来整合。

    b)计算资源的整合。如果只对同类的计算资源进行整合，那么工作会相对简单;但是如果整合涉及到异构计算平台的迁移，则会比较复杂，会涉及到操作系统、数据库等兼容性问题。在云的计算模式下，通过应用的解藕合，可以尽可能地将应用整合到统一的计算平台上。从目前的业界发展趋势来看，这个统一的计算平台就是基于x86架构的计算平台，现在互联网运营商就很好地实现了基于单一x86平台的多种业务承载。

    c)数据中心网络的整合关系到数据中心整合的方方面面。从前端来看关系到客户端和服务器端的网络整合，从后端来看关系到服务器端和存储端的网络整合。在云的计算模式下还需要关注服务器和服务器之间的数据交互，这种流量模型与传统的客户机到服务器的流量模型有很大的不同。传统的模型下，应用的时延是被重点关注的因素，网络上的流量并不是很大，而在一个应用系统中，对时延影响最大的是后端磁盘的响应时间和应用软件的优化程度，合理的网络收敛比是可以被广泛接受的。在基于云的计算模型下，服务器和服务器之间交互的带宽需求非常大，也就意味着不仅需要关注网络的时延，同时需要关注网络收敛比，如何构建一个无阻塞的网络，就成为了必须面对的话题。另外前后端双网(LAN和SAN)的融合也是必须要解决的。

    数据中心实现整合之后，数据中心的虚拟化就成为可能。数据中心虚拟化的步骤通常是先实现网络的虚拟化，然后是计算资源的虚拟化，进一步实现存储的虚拟化。这样的一个演进路径与系统的要求和技术成熟度有关。数据中心的虚拟化要求实现端到端的虚拟化，而不是隔离的各个组件的虚拟化，网络作为数据中心的连接器，在虚拟化中具有举足轻重的作用。在虚拟化的数据中心里，不光要求网络本身能够作为虚拟化的资源池实现灵活分配，同时还要求网络能够感知到计算资源和存储资源的虚拟化，真正实现数据中心端到端的虚拟化。计算的虚拟化由来已久，尤其是最近10年，在x86和RISC平台上都取得了长足的进步，大量的业务应用已经在虚拟化计算平台上实现。存储的虚拟化的历史相对短一些，到现在也已经超过10年。存储的虚拟化可以在相关的各个层面上完成，如LUN一级的虚拟化、逻辑卷一级的虚拟化和文件系统级别的虚拟化。通过存储的虚拟化能够实现更广泛的存储数据的放置，提供给云计算平台更高的I/O性能，同时提供在线数据迁移以及跨数据中心的数据并发访问的能力。通过以上3个方面的虚拟化，数据中心基础架构就形成了三位一体的端到端的虚拟资源池。

2云计算数据中心网络的关键技术

    2.1虚拟交换机技术

    一个典型的云计算环境，无论公有云、私有云，还是虚拟私有云，都具有典型的多租户特点。不同用户的不同业务在同一套物理系统上运行，这就要求网络层面必须具有优异的隔离能力，只有实现了真正的安全隔离，才能够实现多种业务整合在同一个网络系统上。

    传统的网络技术在多个层面实现了逻辑隔离，比如采用VLAN ,PVLAN ,VSAN等实现数据链路层的隔离，采用VRF,VPN实现网络层的安全隔离，但这些技术在实现时是基于同一个进程的。现在数据中心的核心交换机上又提供了更进一步的隔离技术(虚拟交换机VDC )。通过虚拟交换机技术，1个交换机可以在逻辑上分为多个虚拟交换机。这些虚拟交换机之间是彻底隔离的，它们有各自独立的二层和三层的协议栈和进程，有各自独立的管理员，虚拟交换机之间是无法通过逻辑配置实现联通的。同时，由于它们的软件进程是完全独立的，当某个虚拟交换机出现问题的时候，不会影响到别的虚拟交换机，实现了完善的故障隔离。

    通过虚拟交换机技术，可以使对安全要求高、原来必须运行在独立网络中的业务在统一的网络资源池上运行，实现网络资源的灵活调度，以及数据安全和节能减排。整合主要放在数据中心网络的汇聚层和核心层，整合的方式包括水平核合、垂直整合等。

    2.2交换机板卡延伸技术

    云计算的数据分布处理模型改变了现有的计算模式，在处理互联网数据的数据中心里，一个服务器集群就可以有5 0006 000个计算节点，大一些的集群甚至可以有20 000个计算节点。如果这么多的计算节点放在同一个二层网络里，会形成一个包含100个以上接入交换机的生成树网络，这样大的生成树网络的收敛时间会相应加长，同时会给网络带来不稳定因素，而且也非常不利于故障的分析和诊断。即使采用三层连接，由于应用负载分担的要求，无法通过配置area的方式来实现路由总结，也会给网络带来大的负载和不稳定性。新一代的数据中心接入交换机采用了板卡延伸技术，这一技术通过IEEE 802. 1 qbh协议的实现，将原本互联在一起的多个TOR交换单元的控制平面和转发平面融合在一起，形成了多个交换机组合成一个交换机的状态，原有的分布在各个机架的TOR接入交换机就成为新交换机的远程板卡。在这个架构下，TOR交换机不是单独存在的网元管理点，也不是用二层的生成树或三层的路由协议来维护的网络拓扑。现有技术已经可以将多达犯个TOR交换单元的控制平面融合在一起，从而大大减少了网络节点，简化了网络拓扑，提高了网络的可管理性和可维护性。这一技术综合了TOR方式在布线上的优势和FOR方式管理节点少的优势。

    2.3支持超大规模扩展的网络技术

    传统的数据中心主要以处理结构化数据为主，关系型数据库被大量用于数据处理，传统的关系型数据库采用垂直扩展(Scale Up)的方式来扩展数据的处理能力，通常来说处理的数据是TB级别的，数据的块比较小，但I/0要求较高。如果数据量过大，出于性能的考虑可以在数据库层面分成不同的库。互联网上的大量数据是网页、E-mail、图像等非结构化数据，数据量至少也是PB级别的，传统垂直扩展的方式处理这样的数据比较费劲。所以目前大型的互联网数据中心采用基于map reduce编程模式，实现海量数据的并行处理。在map reduce的框架下，开发人员可以将计算任务分布到超大规模的计算集群(多达20 001〕个计算节点)上来并行处理，在这样的计算集群内部，服务器和服务器之间有大量的数据交互，数据块大，数据流的吞吐量也很大。这就要求承载这一计算集群的网络要能够提供支撑超大规模计算节点无阻塞交换的能力。传统的二层网络，由于采用生成树协议，无法提供等价多路径(ECMP)的能力，也就无法提供超大规模计算集群无阻塞交互的带宽。所以互联网数据中心通常采用三层交换机作为接人交换机，以利用三层的ECMP的支持能力。但这种模式把数据中心网络分成了很多小块的二层网，在部署虚拟化应用时，有很大的局限性，因为很多基于虚拟化的应用，如VMotion,LPAR Mo-bility等都需要一个二层网络的支撑。因此云计算数据中心的网络需要在二层上提供超大规模的网络扩展能力。vPC ( Virtual Port-Channel)是一种扩展技术，它通过整合2个交换机的转发平面，采用Port-Channel实现接人设备同时上联2个汇聚交换机，实现双倍的聚合带宽。采用板卡延伸技术和vPC技术，可以有效扩展网络规模，同时减少生成树对网络的影响。

    vPC技术能够实现2个交换机的聚合，实现链路的双上联且同时活动。这一技术能支持一个相当大规模的网络扩展性，但和采用只层路由协议的16路ECMP来比较，所能支撑的无阻塞网络规模还是偏小。为了支持更大规模的无阻塞的二层网络，并且减少大规模网络中生成树的影响，业界提出了Fabric-Path这一在二层上实现多路径的协议。FabricPath的指导思想就是保留二层即插即用的好处，以及对于应用编程的简便，同时将转发平面和控制平面分离以实现更大规模的网络扩展和扁平化。FabricPath给每个交换机一个48位的switch ID作为标识，通过ISIS协议来构建FabricPath的控制平面，形成基于switch ID的路由表。采用FabricPath技术之后，网络里的交换机上会有2张转发表，边缘交换机上会同时有MAC的转发表和基于switch ID的转发表，FabricPath核心的交换机则维护switch ID的转发表。由于在二层网络上采用了ISIS这样基于连接状态的路由协议，FabricPath的网络可以支持到16路的等价多路径，将网络的扩展性在vPC的基础上又提高了8倍。FabricPath可以降低网络拓扑改变时的收敛时间，提高全网的性能和可靠性。同时FabricPath完全兼容原有的生成树和vPC技术，也就是说在一个典型的二层网络环境下，原有的采用生成树和vPC的部分可以无缝地接入FabricPath网络。在超大规模的虚拟化数据中心里，网络设备会面临很大的MAC地址表爆炸的压力。FabricPath技术创新地通过基于会话的MAC地址学习机制，有效地减小了边缘交换机MAC地址表的压力。通过FabricPath技术可以构建一个非常扁平高效的超大规模数据中心网络，可以说FabricPath技术彻底改变了现有网络的架构，是今天大规模虚拟化数据中心最重要的技术之一。

2.4虚拟化I/O

    今天的数据中心存在着3张网。前端的以太网，主要承载应用数据的交互，以及iSCSI和NAS等存储的相关流量。后端的SAN网络，主要承载FC存储的流量。有些数据中心还有支持高性能计算的Infiniband网络。多张网的存在，造成了数据中心网络事实上的分割，无法形成统一的虚拟化网络资源池，在服务器端也形成多种UO走各自不同接口卡的状况，需要更多的布线和接人交换机的端口，不利于I/0整合和节能减排。将数据中心的3张网整合成统一的1张网就成为建立面向云计算的虚拟化数据中心的非常重要的一步。现有的3张网具有一些不一样的特性。前端的以太网开放，具有高带宽(达100 Gbit/s)，也具有低时延的特性，但数据链路层的流控和服务质量保证就比较弱，需要上层协议来实现流控和丢失数据帧的重传。而后端的SAN网络采用Buffer to Buffer的协商机制来保证，当一个交换机需要将数据传给另一个交换机时，发送交换机会询问接收交换机是否有缓存来暂存数据。如果有，缓存的量是多大。发送交换机会根据接收交换机空余的缓存数量来决定发送数据的量，这样SAN是一个有相对完善流控的不丢帧的网络。如果需要采用以太网来整合数据中心网络，承载多种相关的流量，就需要对现有的以太网进行改进，以更好的流控来实现不丢帧和服务质量保证。这就是数据中心以太网DCB,DCB由一系列相关的协议所定义，其中有2个是与流控和服务质量保证相关的重要协议，包括IEEE802.1 qbb和IEEE 802.lqazo IEEE 802.1qbb通过对流量的优先级进行分级，配合pause的反压机制，实现关键业务的不丢帧。IEEE 802.1qaz则可以给不同优先级的流量分配不同的带宽。另外T11通过FC-BB-6定义了FC帧在DCB网络上的承载方法，也就是FCoEo从本质上说，FCoE是DCB所承载的应用之一。通过这些流控机制，可以保证存储相关的FCoE的流量在网络拥塞时不会发生丢帧，并被优先传送，从而保证响应时间。通过DCB/FCoE技术，可以将以往需要多张网承载的流量，整合到1张网，也就是数据中心以太网上来承载，实现了网络上I/0的整合和虚拟化。

    同时现有的DCB/FCoE技术已经非常成熟，交换机已经可以支持VE接口，这就意味着可以完全基于以太网实现传统SAN的核心一边缘的拓扑，做到流量的完全融合和虚拟化，数据中心内部也只有1张网，也就是数据中心以太网。

    2.5虚拟机的感知

    云计算数据中心的一个基本特点就是资源的虚拟化。当计算和存储资源虚拟化以后，传统的网络由于只能认识到物理的网卡，因此无法认识虚拟机。当虚拟机发生流动时，相应的网络属性无法随动，也就无法适应虚拟化计算环境的特性。这里有2种方法让网络感知到虚拟机，第一种方法是在服务器的Hypervisor上安装软件交换机的交换模块，这些交换模块通过统一的软件交换机的管理模块来实现集中化管理。这种方法可基于IEEE 802.1q来实现，可以灵活部署在虚拟化服务器的Hyperviso:上，但运行的时候需要消耗服务器的CPU资源。第二种方法是采用前面提到的基于IEEE 802.Iqbh的板卡延伸技术，在服务器内装一块支持IEEE 802.1 qbh协议的网卡，这块网卡可以分成多个虚网卡来和虚拟机对应，同时这个网卡也是外部交换机的远程板卡，可以在外部交换机上实现管理和策略的下发等。这种方法不需要消耗服务器的GPU资源，所以具有更高的交换性能，同时这种方法与Hy-pervisor无关，可以和多种虚拟化软件配合使用。

    上面2种方法的共同点是，策略的管理和下发都是集中化的，这样无论虚拟机流动到数据中心的什么地方，对应于虚拟机的访问控制，QoS等网络属性都可以随之流动，从而保证全网的网络策略的一致性。

    2.6数据中心跨地域互联

    通过FabricPath等技术，可以构建一个超大规模的虚拟化数据中心网络。由于供电、制冷的限制，以及容灾、备份的要求，需要构建物理上分离，但逻辑上一体的跨数据中心的网络，基于这个网络来建立分布式虚拟化的数据中心。通过这个网络，计算能力可以在不同的数据中心之间自由流动。只有把一个数据中心的网络通过技术延伸到远端的数据中心，才能实现这样的业务需求。OTV(Overlay Transport Virtualization)就是这样的一个技术，通过OTV技术可以实现穿越IP骨于的数据中心网络的打通。OTV技术借用了一部分EoMPLSoGRE的数据帧封装，但采用了完全不同的控制平面。通过ISIS来建立Adjacency关系，并交换数据中心之间的MAC地址表。OTV技术对于IP骨干网的要求只是IP可达，不需要MPLS的支持，大大简化了网络的维护。同时由于采用了控制平面和转发平面的分离，有效阻止了二层广播泛滥到IP骨干上，同时也不需要把生成树跨在数据中心间的骨于网上，大大提高了整个网络的稳定性。

    通过OTV技术，可以通过IP网络实现多个数据中心的网络整合和虚拟化，实现计算资源在不同数据中心间的自由流动，也为双活数据中心的实现提供了网络保证。

    2.7客户端智能的路由感知

    面向云计算的数据中心里，计算资源是可以在不同的数据中心间自由流动的，当流动发生后，客户端如何感知到计算资源的流动，从而把数据包发到新的数据中心而不是老数据中心，是需要面对的问题。新一代路由技术LISP提供了很好的解决方案。LISP协议设计的初衷是解决核心骨干网上BGP路由太多这一问题，但同时LISP也为云计算环境下的路由优化提供了优秀的解决方案。在LISP协议的设计中，在原有的IP包前又封装了一个IPv4或IPv6的包头，这样原有IP包头仍然作为主机识别的标识，也就是EID，新增加的包头作为位置的标识，也就是RLOC)这样计算节点可以通过RLOC十EID来共同标识，当计算资源从一个数据中心流动到另一个数据中心时，发生改变的只是RLOC，而对一于主机识别的EID是不变的)LISP也采用了转发和控制平面分离的架构，BGP协议用以构建控制平面，同时采用MS (map server)来记录RLOC和EID之问的对一应关系)虚拟机流动到新的数据中心后需要到MS注册新的RLOC和EID的对一应关系，客户机通过MS查找到计算资源新的RLOC，从而把数据包自接送到新的数据中心。

3结束语

    云计算作为计算模式和服务管理模式的创新，对数据中心的网络架构提出了新的要求，创建分布式虚拟化的数据中心网络是实现云计算的一个基础条件通过虚拟交换机技术VDC，能实现把不同业务整合到一个数据中心的网络并安全隔离。通过板卡延伸VPC和FahricPath技术，可以构建适应云计算模式的超大规模的无阻塞数据中心网络.通过DCB/FCnE可以实现I/O的虚拟化和数据中心的气网合一通过OTV可以把物理分离的数据中心整合成一个逻辑的数据中心，使计算资源能够在数据中心之间自由流动.并让客户端通过LISP找到正确的数据中心。分布式虚拟化的数据中心网络是云计算数据中心的基础架构，而通过以上技术能够很好地构建这样的数据中心网络。