53、内容分发之一（应用层）

引言

• 由于分发内容的任务与通信完全不同，它对网络提出了不同的需求。例如，如果Sally想与Jitu谈话，她可能向他的移动电话发出IP 语音呼叫。通信必须在特定的计算机上完成：它呼叫Paul 的计算机将不能做得很好。但是，如果Jitu 想观看他团队的最新板球比赛，他很幸福地可以从任何提供服务的计算机上获得视频流。他不介意计算机是Sally 的或者是Paul 的，或者更加可能的是一台Internet 上的未知服务器。也就是说，相对于内容来说位置无关紧要，除了它会影响性能（和合法性〉。
• 另一个不同是一些提供内容的Web 站点已红极一时。YouTube 是一个典型的例子。它允许用户共享他们自己创作的影片，无论任何一个可以想象的主题都能找到相应的视频。You Tube 和其他大型内容提供商建立了它们自己的内容分发网络。这些网络使用了遍布在世界各地的数据中心，为数量极其庞大的客户群提供具有良好性能和可用性的内容。随着时间的推移，内容分发所用技术也已经被开发了出来。
• 研究人员针对内容分发开发了使用带宽的不同体系结构。一种体系结构就是内容分发网络（CDN, Content Distribution Network）。采用这种体系结构，内容提供商在Internet 的某些位置建立一组分布式机器，然后通过它们给客户提供内容。另一种体系结构是对等网络（P2P, Peer-to-Peer ） .采用这种体系结构， 一组计算机把它们的资源集中起来，彼此互相服务提供内容，无须单独配置服务器或者任何中央控制节点。

1、内容和Internet 流量

• 为了设计和工程化工作良好的网络，我们需要理解网络运载的流量。例如，随着Web重心转移到了内容上，服务器己经从公司办公室迁移到了Internet 数据中心，中心提供了大量拥有超级优秀网络连接的机器。如今要运行一个小型服务器，从Internet 数据中心租用一台托管的虚拟服务器，甚至也比在家里或办公室运行一台与Internet 有宽带连接真实的机器更容易和更方便。
• 幸运的是，关于Internet 流量有必要了解的事实只有两个。第一个事实是，流量的变化很快，不仅表现在细节上，而且在整体上也如此。在1994 年之前，大部分流量是传统的FTP 文件传输（在计算机之间移动程序和数据集）和电子邮件。然后Web 出现了，并成倍地增长。在2000 年网络泡沫之前Web 流量将FTP 和电子邮件的流量远远地抛在了后面。从2000 年左右开始，共享音乐，然后是共享电影的P2P 文件异军突起。到2003 年，大多数Internet 流量变成了P2P 流量，它把Web 流量远远地抛在了后面。在2000 年后期的某个时候，使用内容分发方法的网站提供视频流，比如YouTube 等，视频流开始超过P2P 流量。我们必须指出的一点是Internet 流量迅速发生着震撼般的转变，并呈现出一定的规律性。接下来会发生什么？请看本书的第6 版，我们将告诉你答案（期待啊，什么时候出哦）。
• 有关Internet 流量的第二个基本事实是它的高度倾斜特性。我们所熟悉的许多特性都是聚集起来取个平均值。例如，大多数成年人的平均身高接近。有一些很高的人和一些很矮的人，但很少有非常非常高或非常非常矮的人。对于这类特性，有可能设计出一个范围，它不是很大但仍然捕获了大多数人口。Internet 流量与此不同。长期以来，人们一直认为少量Web 站点具有大量的流量，大量的Web 站点具有很少的流量。
• Web 内容，相同的倾斜显而易见的。录影带出租店、公共图书馆和其他类似组织的经验表明，井非所有项目都同样受欢迎。实验中，当有N 个电影可用，所有请求第k 个最流行电影的比例大约为C/K 。在这里， C 用来计算规一化的和，即C = 1/(1 + 1/2 + 1/3 + 1/4 + 1/5 +…+ 1/N)。因此，最流行电影的流行度是排名第七流行度电影的7 倍。这个结果称为齐普夫定律，它以George Zipf 的名字命名，这是一位哈佛大学的语言学教授，他指出一个字在大段文字中的使用频率和它的排名成反比的。例如，第40 个最常见字的使用次数是第80 个最常见字的使用次数的两倍，是第120 个最常见字的使用次数的3 倍。
• 下图a显示了齐普夫分布。它捕获的概念是有少数受欢迎的项目和很多不那么受欢迎的项目。要认识这种形式的分布，把数据绘制在两轴的对数尺度就容易看出，如图b所示。结果应该是一条直线。
• 当人们查看流行的网页时大致遵循齐普夫