计算机网络-07 cdn+p2p

第七讲：cdn+p2p

服务器直连分发的缺点：性能问题，服务器可能离用户很远，内容分发效率低，大量用户同时访问的时候系统也可能瘫痪

zipf定律：80%的访问集中在20%的内容上

启示：两种策略

web cache：在靠近用户网络的地方缓存流行内容，后续请求不用再发到服务器，运营商采用，是被动模式，缺点是存在版权和内容更新的问题，类似于劫持，并且很多类型的内容不能缓存，比如动态数据、依赖参数和cookie的数据、加密数据

cdn：把内容拷贝到不同地域的多台服务器，减轻服务器负载，提升用户QoE，内容提供商采用，是主动模式，cdn分发中没有路由器的参与

cdn

核心问题是选择哪个服务器

负载轻、性能高（处理能力&带宽等）、距离客户端近（物理位置近或RTT小）、成本低（带宽&能耗等）的服务器

两种实现方法：静态&DNS

静态：通过HTTP重定向，来自北京的请求都重定向回北京

DNS：通过DNS来指示相应的cdn服务器

Akamai的工作原理

通过DNS迭代/递归查询，返回所选择的cdn服务器

实例 EDNS：用户到cdn服务器的映射

阿斯蒂芬

cdn面临的挑战

网络层面：cdn所在网络与其他网络的互联问题、内容传输效率问题

应用层面：内容放置问题（地域）、内容复制到哪些服务器上、存储空间问题

网络互联问题

跨网访问：最好避免跨运营商，在各运营商都缓存

内容放置问题

放在哪：依赖于内容在地域上的流行度

放什么：zipf定律，怎样预测视频的流行度（可以用早期流行度预测整个生命周期流行度，不需要对每个视频都完整缓存）

存储空间：减小不必要存储，在内容级别，不流行内容不需要存储多份；在内容块级别，只存部分内容块（只存储视频开头的一部分）

多cdn实例：netflix

分块传输，一个chunk对应几秒的内容，便于切换码率：DASH（基于HTTP的动态自适应流dynamic adaptive stream based on http）

带宽受限时

降低码率，还是不行那就要换CDN

实例：基于机器学习的视频CDN传输优化

点播QoE：高码率、少卡顿、少切换

直播QoE：高码率、少卡顿、少切换、低时延

cdn的新挑战：视频直播

用户行为

内容流行度分布不均，大量上行资源浪费，存在大量流行度低的内容，没有必要高码率上传

主播也分为轻度、中度、重度使用

无人观看的直播浪费了很多流量

在观看位置方面，绝大多数情况是跨网传输，对QoE有明显影响，且一次直播的主要观众群体来自少数几个网络位置

系统优化

自适应上传：优化上传系统，保证QoE同时减少资源浪费，基本原则是通过合理的码率分配实现资源消耗和QoE之间的平衡，解决思路是无人观看期间降低上传码率，未来被观看概率越低的直播码率越低

边缘服务器预取：预取直播最新GoP到相同网络内的边缘服务器，降低启动时延，包括三种预取策略：1 网络中最热门的k个边缘服务器、2 主播历史上最热门的k个边缘服务器、2+未预取则缓存

高光重传：观看人数特别多的片段被毁看的概率也大，解决方法是在实时上传的同时保存高码率版本录像在本地，在低带宽利用率期间上传高码率高光时刻录像

边缘计算

这ppt上实在是一个有用的中国字都没有

p2p：对等网络

是一个覆盖网络

Gnutella

使用泛洪搜索，请求资源的主机向邻居节点发送search请求，邻居节点收到后如果有资源就发给他，如果没有就再进行转发，直到找到有资源的主机。有资源的主机就会把资源发给请求的主机

BitTorrent

文件分块传输，一个节点可以从多个节点下载文件快，节点之间直接交换块的信息，块选择策略是邻居中最缺哪块就优先哪块

涉及到的概念有：

neighbors：一个peer连接的所有peers

interest neighbors：有我需要的pieces的neighbors

upload slots：一个peer多个peers同时发送pieces的最大peers数

rarest first：下载neighbors最缺的piece

choking&unchoking(阻塞/非阻塞)

tit-for-tat策略来保证公平性

一个peer周期性选择四个最高传输速率的interest neighbors，第五个upload slot进行随机发送，有助于新节点的启动和优质邻居节点的发现

总体架构

包括一个web server（存.torrent文件），一个tracker和若干个peer

请求peer问tracker，tracker告诉请求Peer应该去哪些peers找，请求peer向这些peers发送handshake，peers向请求peer发送数据块

是一种非结构化网络，形成的拓扑没有逻辑结构

结构化PTP：DHT（分布式哈希表）（结合网络路由那一章）

给定文件ID，定位保存该ID对应文件的服务器

其他内容同网络路由

P2P的挑战

拓扑结构方面，节点动态性；overlay（网络上叠加的虚拟化技术）和IP网络的不匹配。解决方法是找临近节点，用界标簇算法产生界标向量，IP网络上相邻的节点拥有相近的界标向量

应用方面，文件定位：哪些节点有我想要的东西；文件的availability：多少个节点有所请求的文件块；激励机制：我为什么要做贡献

CDN和P2P的混合

直播用P2P效果比较好