CDN核心技术细节

目前，推出比较成熟的CDN产品的厂家有Cisco、F5和互联通公司等，前两者的CDN是以硬件系统为主，而后者的CDN是以软件为主的通用平台，很好地结合了线路和服务优势。下面简单分析一下互联通的CDN--Smart CDN。
　　
　　　　互联通采用整体负载均衡（GSLB）、缓存技术（Cache）及镜像技术（Mirror）相结合的方法，为客户提供异地网络加速服务。具体方案是在网站主 站点以外的用户集中城市、地区使用互联通的网络加速服务，互联通智能GSLB系统通过互联通专网，引导网站用户访问"最佳"Cache/Mirror服务 器，从而绕过互联网拥堵链路，减轻主站点服务器负载，实现异地网络加速，并解决了单纯Cache/Mirror不能解决的难题。
　　
　　　　Smart CDN通过DNS解析或HTTP重定向两种方式工作，通过Cache服务器或异地的镜像站点完成内容的传送与同步更新。DNS方式用户位置判断准确率大于 85%，HTTP方式准确率为99%以上。经实际测算，各Cache服务器群的用户访问流入数据量与Cache服务器到原始网站取内容的数据量之比在2: 1到3:1之间，即分担50%～70%的到原始网站重复访问数据量（主要是图片、流媒体文件等内容）。对于镜像，除数据同步的流量，其余均在本地完成，不 访问原始服务器。
　　
　　　　Smart CDN系统基于用户实际访问的IP地址判断用户位置，直接将用户访问指向响应速度最快的站点。整个系统管理简单，用户可通过GUI确定有哪些内容需要做分 布式分发，系统会自动完成内容的复制、更新及数据库同步的全过程。并且，系统具有自诊断、负载均衡的能力，任何环节发生故障，不会影响整个系统的可访问 性。
　　
　　　　可以说，负载均衡技术在CDN中发挥着重要的作用，其能力高低对CDN的性能产生直接影响。Smart CDN所采用的负载均衡具有一定的优势，主要体现在如下几个方面。
　　
　　　　1． 高智能化
　　
　　　　运用虚拟IP（VIP）地址代表目标服务器和应用，Smart CDN将会话分配到最高可用性的服务器，全程监控每个会话。服务恢复后自动重新登记，并在转发客户机和服务器信息包时提供全地址转换。Smart CDN采用了包括循环法、最少连接法、散列法或最少失误法等多种不同的负载均衡方法，并对个别服务器配置最大连接数量阈值和加权值，这样可以有效避免服务 器超载。
　　
　　　　2． 高可靠性
　　
　　　　Smart CDN架构在互联通专用的高速骨干网之上，该主干网络提供延迟极小的网络连通性，从而保障GSLB的功能正常发挥和高性能，优于基于公网的GSLB。并 且，当主站点机房的Internet出口出现故障时，Smart CDN还能将用户自动、透明地从其他分站点Internet入口导向主站点服务器，从而提高了网络的可靠性。
　　
　　　　3． 高可用性
　　
　　　　采用热备份方法，在极短时间内对服务器链路、交换端口和交换机进行检测和故障转移，使应用免受故障影响。一旦任何一个服务器或服务器群发生故障或阻塞，用户将被自动引导到下一个最佳备份服务器或站点，从而更进一步提高了服务和内容的可用性。
　　
　　　　4． 高冗余性
　　
　　　　Smart CDN运行在互联通"三环嵌套"网络主干架构之上，具有高冗余特点，从而保证了高可靠性和高可用性，这一点和其他基于公网的GSLB解决方案有很大差别。
　　
　　　　另外，Smart CDN在服务上的优势体现在: 通过互联通专有链路系统，可提高用户访问的响应速度；保证了两岸三地区域内多点多地服务器内容同步；消除了峰值访问（Peak Load）对出口链路及服务器性能的压力；提高了租用链路的带宽利用率; 降低了原始Web/FTP网站的负载等。
　　
　　　　CDN的类型特点
　　
　　　　CDN的实现分为三类：镜像、高速缓存、专线。
　　
　　　　镜像站点（Mirror Site），是最常见的，它让内容直接发布，适用于静态和
　　
　　　　准动态的数据同步。但是购买和维护新服务器的费用较高，还必须在各个地区设
　　
　　　　置镜像服务器，配备专业技术人员进行管理与维护。对于大型网站来说，更新所
　　
　　　　用的带宽成本也大大提高了。
　　
　　　　高速缓存，成本较低，适用于静态内容。Internet的统计表明，超过80%的用
　　
　　　　户经常访问的是20%的网站的内容，在这个规律下，缓存服务器可以处理大部分客
　　
　　　　户的静态请求，而原始的服务器只需处理约20%左右的非缓存请求和动态请求，于
　　
　　　　是大大加快了客户请求的响应时间，并降低了原始服务器的负载。
　　
　　　　专线，让用户直接访问数据源，可以实现数据的动态同步。
　　
　　　　CDN网络架构主要由两大部分，分为中心和边缘两部分，中心指CDN网管中心和DNS重定向解析中心，负责全局负载均衡，设备系统安装在管理中心机房，边缘主要指异地节点，CDN分发的载体，主要由Cache和负载均衡器等组成。
　　
　　　　当用户访问加入CDN服务的网站时，域名解析请求将最终交给全局负载均衡DNS进行处理。全局负载均衡DNS通过一组预先定义好的策略，将当时最接近 用户的节点地址提供给用户，使用户能够得到快速的服务。同时，它还与分布在世界各地的所有CDNC节点保持通信，搜集各节点的通信状态，确保不将用户的请 求分配到不可用的CDN节点上，实际上是通过DNS做全局负载均衡。
　　
　　　　对于普通的Internet用户来讲，每个CDN节点就相当于一个放置在它周围的WEB。通过全局负载均衡DNS的控制，用户的请求被透明地指向离他最近的节点，节点中CDN服务器会像网站的原始服务器一样，响应用户的请求。由于它离用户更近，因而响应时间必然更快。
　　
　　　　每个CDN节点由两部分组成：负载均衡设备和高速缓存服务器
　　
　　　　负载均衡设备负责每个节点中各个Cache的负载均衡，保证节点的工作效率；同时，负载均衡设备还负责收集节点与周围环境的信息，保持与全局负载DNS的通信，实现整个系统的负载均衡。
　　
　　　　高速缓存服务器（Cache）负责存储客户网站的大量信息，就像一个靠近用户的网站服务器一样响应本地用户的访问请求。
　　
　　　　CDN的管理系统是整个系统能够正常运转的保证。它不仅能对系统中的各个子系统和设备进行实时监控，对各种故障产生相应的告警，还可以实时监测到系统 中总的流量和各节点的流量，并保存在系统的数据库中，使网管人员能够方便地进行进一步分析。通过完善的网管系统，用户可以对系统配置进行修改。
　　
　　　　理论上，最简单的CDN网络有一个负责全局负载均衡的DNS和各节点一台Cache，即可运行。DNS支持根据用户源IP地址解析不同的IP，实现就 近访问。为了保证高可用性等，需要监视各节点的流量、健康状况等。一个节点的单台Cache承载数量不够时，才需要多台Cache，多台Cache同时工 作，才需要负载均衡器，使Cache群协同工作。
　　
　　　　随着宽带网络和宽带流媒体应用的兴起，CDN（通常被称为内容分发网络Content distribution network，有时也被称作内容传递网络Contentdeliverynetwork）作为一种提高网络内容，特别是提高流媒体内容传输的服务质量、 节省骨干网络带宽的技术，在国内外得到越来越广泛的应用。
　　
　　　　CDN的关键技术主要有内容路由技术、内容分发技术、内容存储技术、内容管理技术等。
　　
　　　　内容路由技术
　　
　　　　CDN负载均衡系统实现CDN的内容路由功能。它的作用是将用户的请求导向整个CDN网络中的最佳节点。最佳节点的选定可以根据多种策略，例如距离最近、节点负载最轻等。负载均衡系统是整个CDN的核心，负载均衡的准确性和效率直接决定了整个CDN的效率和性能。
　　
　　　　通常负载均衡可以分为两个层次：全局负载均衡（GSLB）和本地负载均衡（SLB）。全局负载均衡（GSLB）主要的目的是在整个网络范围内将用户的请求 定向到最近的节点（或者区域）。因此，就近性判断是全局负载均衡的主要功能。本地负载均衡一般局限于一定的区域范围内，其目标是在特定的区域范围内寻找一 台最适合的节点提供服务，因此，CDN节点的健康性、负载情况、支持的媒体格式等运行状态是本地负载均衡进行决策的主要依据。
　　
　　　　负载均衡可以通过多种方法实现，主要的方法包括DNS、应用层重定向、传输层重定向等等。
　　
　　　　对于全局负载均衡而言，为了执行就近性判断，通常可以采用两种方式，一种是静态的配置，例如根据静态的IP地址配置表进行IP地址到CDN节点的映射。另 一种方式是动态的检测，例如实时地让CDN节点探测到目标IP的距离（可以采用RRT，Hops作为度量单位），然后比较探测结果进行负载均衡。当然，静 态和动态的方式也可以综合起来使用。
　　
　　　　对于本地负载均衡而言，为了执行有效的决策，需要实时地获取Cache设备的运行状态。获取的方法一般有两种，一种是主动探测，一种是协议交互。主动探测 针对SLB设备和Cache设备没有协议交互接口的情况，通过ping等命令主动发起探测，根据返回结果分析状态。另一种是协议交互，即SLB和 Cache根据事先定义好的协议实时交换运行状态信息，以便进行负载均衡。比较而言，协议交互比探测方式要准确可靠，但是目前尚没有标准的协议，各厂家的 实现一般仅是私有协议，互通比较困难。
　　
　　　　内容分发技术
　　
　　　　内容分发包含从内容源到CDN边缘的Cache的过程。从实现上看，有两种主流的内容分发技术：PUSH和PULL.
　　
　　　　PUSH是一种主动分发的技术。通常，PUSH由内容管理系统发起，将内容从源或者中心媒体资源库分发到各边缘的Cache节点。分发的协议可以采用 HTTP/FTP等。通过PUSH分发的内容一般是比较热点的内容，这些内容通过PUSH方式预分发（Preload）到边缘Cache，可以实现有针对 的内容提供。对于PUSH分发需要考虑的主要问题是分发策略，即在什么时候分发什么内容。一般来说，内容分发可以由CP（内容提供商）或者CDN内容管理 员人工确定，也可以通过智能的方式决定，即所谓的智能分发。它根据用户访问的统计信息，以及预定义的内容分发的规则，确定内容分发的过程。
　　
　　　　PULL是一种被动的分发技术，PULL分发通常由用户请求驱动。当用户请求的内容在本地的边缘Cache上不存在（未命中）时，Cache启动PULL方法从内容源或者其他CDN节点实时获取内容。在PULL方式下，内容的分发是按需的。
　　
　　　　在实际的CDN系统中，一般两种分发方式都支持，但是根据内容的类型和业务模式的不同，在选择主要的内容分发方式时会有所不同。通常，PUSH的方式适合内容访问比较集中的情况，如热点的影视流媒体内容；PULL方式比较适合内容访问分散的情况。
　　
　　　　在内容分发的过程中，对于Cache设备而言，关键的是需要建立内容源URL、内容发布的URL、用户访问的URL，以及内容在Cache中存储的位置之间的映射关系。
　　
　　　　内容存储技术
　　
　　　　对于CDN系统而言，需要考虑两个方面的内容存储问题。一个是内容源的存储，一个是内容在Cache节点中的存储。
　　
　　　　对于内容源的存储，由于内容的规模比较大（通常可以达到几个甚至几十个TB），而且内容的吞吐量较大，因此，通常采用海量存储架构。如NAS和SON.
　　
　　　　对于在Cache节点中的存储，是Cache设计的一个关键问题。需要考虑的因素包括功能和性能两个方面：在功能上包括对各种内容格式的支持、对部分缓存的支持，在性能上包括支持的容量、多文件吞吐率、可靠性、稳定性。
　　
　　　　其中，多种内容格式的支持要求存储系统根据不同文件格式的读写特点进行优化，以提高文件内容读写的效率，特别是对流媒体文件的读写。
　　
　　　　部分缓存能力指流媒体内容可以以不完整的方式存储和读取。部分缓存的需求来自用户访问行为的随机性，因为许多用户并不会完整地收看整个流媒体节目，事实 上，许多用户访问单个流媒体节目的时间不超过10分钟。因此，部分缓存能力能够大大提高存储空间的利用率，并有效地提高用户请求的响应时间。但是部分缓存 可能导致内容出现碎片问题，需要进行良好的设计和控制。
　　
　　　　Cache存储的另一个重要因素是存储的可靠性，目前，多数存储系统都采用了RAID技术进行可靠存储。但是不同设备使用的RAID方式各有不同。
　　
　　　　内容管理技术
　　
　　　　内容管理在广义上涵盖了从内容的发布、注入、分发、调整、传递等一系列过程。在这里，内容管理重点强调内容进入Cache点后的内容管理，我们称为本地内容管理。
　　
　　　　本地内容管理主要针对一个CDN节点（由多个CDN Cache设备和一个SLB设备构成）进行。本地内容管理的主要目标是提高内容服务的效率，提高本地节点的存储利用率。通过本地内容管理，可以在CDN节 点实现基于内容感知的调度，通过内容感知的调度，可以避免将用户重定向到没有该内容的Cache设备上，从而提高负载均衡的效率。通过本地内容管理还可以 有效地实现在CDN节点内容的存储共享，提高存储空间的利用率。
　　
　　　　在实现上，本地内容管理主要包括如下几个方面。
　　
　　　　一是本地内容索引。本地内容管理首先依赖于对本地内容的了解。包括每个Cache设备上内容的名称、URL、更新时间、内容信息等。本地内容索引是实现基于内容感知的调度的关键。
　　
　　　　二是本地内容拷贝。通常，为了提高存储效率，同一个内容在一个CDN节点中仅存储一份，即仅存储在某个特定的Cache上。但是一旦对该内容的访问超过该Cache的服务提供能力，就需要在本地（而不是通过PUSL的方式）实现内容的分发。这样可以大大提高效率。
　　
　　　　三是本地内容访问状态信息收集。搜集各个Cache设备上各个内容访问的统计信息，Cache设备的可用服务提供能力及内容变化的情况。
　　
　　　　可以看出，通过本地内容管理，可以将内容的管理从原来的Cache设备一级，提高到CDN节点一级，从而大大增加了CDN的可扩展性和综合能力。
　　
　　　　综上所述，CDN作为一种支持大规模高质量的流媒体服务的关键技术，目前已经基本成熟，具备了广泛应用的能力