浅谈CDN技术的发展历程

转载自品略图书馆 http://www.pinlue.com/article/2020/01/2800/2910161571615.html

 

在互联网上，悄然生长出一张时刻为人们服务的网络，它像一位隐形的快递员，将各种各样的内容交付给用户，这就是内容分发网络（CDN，Content Distribute Network）。

CDN的基本概念和产生背景

Content Distribute Network，直译成内容分发网络，或者也有人写成Content Delivery Network，内容交付网络。

大家常说的互联网，是广义的互联网，由两层组成：一层是以TCP/IP为代表的网络层（也是狭义互联网概念）；另一层是以万维网WWW为代表的应用层。目前普遍存在一个认识误区，就是将互联网和万维网混作一谈。认清互联网的本质，辨识清楚互联网和万维网的区别，是理解整个互联网经济的关键和基础，也是认识CDN的基础。

以TCP/IP为核心的狭义的互联网（Internet），实际上是广义互联网的下层，是网络基础，更一般地说就是TCP/IP网络。这一层的主要作用是通过计算机之间的互联，将各种信息的数据报文以极低的成本进行传输，俗称“管道”，所有信息和内容在这个管道里进行传送。互联网的设计理念是：网络是中立和无控制的，任何人都没有决定权；网络是应用无关的，它的任务就是如何更好地将数据包进行端到端传输。这个设计理念从互联网诞生之初到现在从未被撼动，任何针对某种（类型的）内容对互联网进行优化的尝试其最后效果都不甚理想。因此，我们可以认为互联网不会试图对任何内容进行传输优化。

以万维网WWW为代表的应用层，是广义互联网的上层。这一层包括很多种类型的流量和应用，邮件、软件、在线影视、游戏、电子商务、移动应用等，所有SP（Service Provider，服务提供商）提供的都是这些用户看得见、摸得着的应用，它们丰富和方便了人们的生活，构成了我们常说的互联网业务和信息经济。

CDN发展历史

CDN 是为互联网上的应用服务的，它伴随着互联网的发展而逐步成长，其发展过程中的高峰低谷、起起落落与整个互联网的发展轨迹基本保持一致，图1-4是CDN的历史发展曲线，我们借此来回顾一下CDN的发展历史。

图1 CDN发展历史

第一阶段：CDN缘起

1991年之后的近十年间，公众主要以拨号方式接入互联网，带宽低而且网民数量少，此时主要的瓶颈在最后一公里——用户接入带宽，而没有给提供内容的服务器和骨干传输网络带来太大的压力。随着互联技术的发展和网民数量的增加，给内容源服务器和传输骨干网络带来越来越大的压力，互联网瓶颈从接入段逐渐向骨干传输网络和服务器端转移。

1995年，麻省理工学院教授，互联网发明者之一Tim Berners-Lee发起的一项技术挑战造就了后来鼎鼎大名的CDN服务公司Akamai。Berners-Lee博士预见到在不久的将来网络拥塞将成为互联网发展的最大障碍，于是他提出一个学术难题，要发明一种全新的、从根本上解决问题的方法来实现互联网内容的无拥塞分发，这项学术难题最终催生出一种革新性的互联网服务——CDN。当时Berners-Lee博士隔壁是Tom Leighton教授的办公室，一位麻省理工学院应用数学教授，他被Berners-Lee的挑战激起了兴趣。Leighton博士意识到应用数学和运算学可以解决网络拥塞的问题，于是他请研究生Danny C. Lewin和其他几位顶级研究人员一起破解这个技术难题。随后另外几位计算机科学和数据网络方面的科学家也加入Leighton博士的队伍中来，他们开发了数学运算法则来处理内容的动态路由计算，并开始实施自己的商业计划，最终成立Akamai公司。这些世界级的科学家开发出一套突破性的运算法则，用于在网络服务器所组成的大型网络中智能组织路由和复制内容。

Akamai公司通过智能化的互联网分发，结束了“World Wide Wait”（世界一起等待）的尴尬局面。公司1999年开始提供商业服务，并宣布世界上网络流量最大的互联网公司雅虎成为自己的合同客户。

Akamai是全球第一家CDN网络运营商，从诞生之日起，就一直是全世界顶级的CDN服务商和CDN服务的领跑者。Akamai的成功表明互联网内容分发业务有着巨大的市场前景。

第二阶段：CDN第一次发展浪潮

1999年到2001年是全球互联网发展的高潮期，HTTP网页内容的加速需求非常大，CDN成为产业关注的热点。2001年，Limelight Networks公司在美国亚利桑那州成立，是除Akamai之外最主要的CDN公司，自高盛将1.2亿美元投入Limelight后，全球CDN 的发展呈现出风起云涌之势。Akamai和Limelight分别代表了“节点租用”和“节点自建”两种发展模式，引领了全球CDN行业的技术潮流。在这一时期，除了如Akamai、Limelight、Level3等这样独立、专业的CDN服务提供商，大型的IDC企业看到CDN巨大的市场前景也纷纷转型，加入这一行业。IDC企业的加入进一步推动了CDN行业的发展，与传统的独立CDN公司形成对峙之势。比如国外著名的IDC——Digital Island通过其遍布全美国的、数量众多的数据中心，建立了其自己的CDN网络，将CDN服务作为一种增值服务向它的数据中心的客户提供。

在中国，互联网的高速发展同样始于20世纪90年代末。以新浪、搜狐、网易三大门户为代表，众多资本、科技人才投入其中，网站和互联网服务如雨后春笋般蓬勃生长，启动了国内第一次互联网发展高潮。互联网内容的丰富和功能的拓展吸引了越来越多的用户，网上冲浪成为当时最时髦的娱乐形式。网民数量的剧增给网络带来巨大的压力，导致网络服务质量和用户体验下降，同时限制了流媒体等新业务的发展。在这样的背景下，中国的CDN产业应运而生。1998年，国内第一家专业CDN服务公司——蓝汛（ChinaCache）公司成立，2000年蓝汛获得了信息产业部颁发的第一个CDN试运行许可证，正式成为我国第一家专业CDN服务提供商。2000年10月初，网宿公司成立。2001年10月，新浪成为我国第一个CDN服务商业用户，中国的CDN商用市场初具规模。

第三阶段：互联网泡沫的冲击和CDN第二次大发展

2001年，第一次互联网泡沫破碎，大量.com公司倒闭，网站关闭。CDN客户一夜之间骤减，一息尚存的网站也缩减成本开支，CDN产业几乎立刻进入了停滞期。彼时CDN服务商鼻祖Akamai公司也难逃此劫，加上该公司的创始人之一、早期发明者之一的Daniel C．Lewin在2001年“9·11”恐怖袭击中不幸遇难，更为CDN行业的发展雪上加霜。

虽然互联网泡沫破裂对整个行业产生了巨大的冲击，但互联网复兴的种子已播下，第一次泡沫期间大量投资建设的基础设施，为日后产业的再次发展奠定了良好的物质基础。

从2002年开始，DSL等宽带技术在全球逐渐普及，用户接入带宽提高到Mb级别，为网络流媒体服务提供了基础条件。从2004年起，伴随着互联网的回暖和发展，流媒体服务的发展和Web 2.0的兴起对CDN提出了新的技术要求，CDN的需求开始回升并持续增加，CDN又变得热门起来。

首先，传统HTTP和下载使网络数据量飞速上升，网络游戏产业逐渐成熟，特别是网络视频等需要高带宽的内容，对服务器和网络带宽的压力更大，对CDN服务需求迫切。其次，网站的内容类型不断增加和丰富，在新的需求下，流媒体、Flash、视频和下载等网站内容及业务成了新的主要应用对象。为了给软件下载、视频流媒体、企业Web应用、B2B交易和Web 2.0互动等各种服务加速，传统的CDN技术之上又增加了压缩、流量整形、智能路由和网络优化等技术。第三，随着CDN能够提供加速的内容类型不断丰富，其提供的服务也已从单纯的内容加速拓展到应用和服务的加速。Akamai公司营销主管Kieran Taylor曾感慨地说：“"内容分发网络’这个词确实有些过时了，我们的设想是为所有在线业务加速。”

除了带来新的技术要求和业务需求外，Web 2.0和流媒体的发展将互联网的发展推向了新的高峰，互联网逐步形成了清晰稳定的赢利模式，生存力的增强使得互联网公司变得更加健康和稳定，为CDN服务生成了真正的市场和稳定的客户群。

总而言之，市场需求的急速膨胀与CDN 自身的发展，包括技术的成熟、设备价格的下降等因素，共同引发了CDN 的新一轮发展热潮。CDN技术自诞生时的第一次爆发式发展之后，又迎来一段难得的发展盛世。在我国从2006年开始，随着网络视频应用的普及，CDN 进入快速发展时期，到2009年底，中国CDN市场营业收入已达到5.01亿元人民币。

与此同时，CDN市场的风险投资交易金额逐年走高，2008年CDN市场的风险资本交易金额更是达到了创纪录的3.25亿美元。蓝汛公司从2004年启动融资开始，英特尔投资、集富亚洲、InvEStor、启明创投、Ignition、Starr International、SIG这7家基金都先后成为蓝汛的投资人，前后三轮融资共引进5000万美元。包括2005年获得的第一笔来自于集富亚洲、英特尔投资等的850万美元风险投资；2007年获集富亚洲、英特尔投资和启明创投等参与的第二轮3150万美元的投资；2009年9月，蓝汛再获英特尔投资及其他风险投资公司超过1000万美元的投资。2007年5月，网宿科技获得首轮融资，总额为4000万元人民币。

2009年10月30 日，上海网宿科技股份有限公司作为首批创业板28 家上市公司之一，正式登陆深交所创业板上市。2010年10月1日（美国当地时间），蓝汛通信（NasdaqGM: CCIH）成功登陆纳斯达克交易市场。两家国内CDN服务领先者的成功上市，是国内CDN产业发展的重要里程碑，也标志着资本市场和公众对CDN产业的认可。

2010年开始的云计算风潮对CDN也产生了不小的影响。一方面，很多云计算平台在对外提供服务时不可避免地会用到CDN的分发能力。另一方面，CDN的技术特点使得它本身就很像一种云服务，很多CDN服务商也正在积极尝试各种云计算技术在CDN系统中的应用。云计算究竟会对CDN产生什么样的影响？我们拭目以待。但可以肯定的是，这将是一种良性的促进，也许将推动CDN技术和业务发展进入一个新的阶段。

本文节选自《CDN技术详解》一书