专访 | PP云技术副总监：如何使用机器学习算法优化分发链路

转载声明：本文转自公众号【PP视频云】

4月21日PP云作为LiveVideoStack的特别支持单位，将在上海浦东新区陆家嘴软件园苏宁文创园区举办《多媒体开发新趋势》系列沙龙，为大家展现新技术在音视频领域的探索与实践，以及新兴应用场景和传统行业的最新、最佳实践。PP视频云技术副总监曾小伟作为特邀讲师，将为大家带来《如何使用机器学习算法优化分发链路》的演讲。今天先为大家透露一些演讲内容的精彩摘要。

Speaker：

演讲者曾小伟现担任苏宁云商数据云公司PP视频云技术副总监。图像编解码、高性能计算出身；从事过AI（NLP）方向的工作，10年以上流媒体服务服务端开发与架构设计经验，8+年以上团队管理经验。目前负责PP视频云的架构设计与研发工作，承接苏宁集团内部的视频业务，推动视频云平台架构改进，提升服务能力；对外，提供优质的视频SAAS服务。同时是多家科技类网站的执笔观察员，PP视频云长期特邀撰稿人兼执行主编。

Topic：

点播视频（包括短视频）压制完成后，需要经过内部存储和分发才能接入到视频CDN，内部存储分发的功能由点播视频源站来实现。源站内部分发的过程中，视频数据会通过大量的服务器节点，这些节点分布在不同地域、不同运营商的机房、不同的时间，连通性都是不断变化着的。传统的做法是根据运维经验，配置固定的主备线路进行分发，缺点是线路发生拥塞和故障时，分发的质量会受严重影响甚至失败。PP云则引入机器学习算法，实时生成转发链路的方案，选择最优质的网络链路，提高分发速度。本次分享将对优化方案架构、模型、算法设计和实践，以及未来发展做详细介绍。

Abstract

1. 点播视频源站介绍及分发链路优化的意义

PPTV新上线了一个电影，或者一些短视频网站的用户新提交了一个短视频后，这些视频放在哪里呢？对于视频网站（平台）来说，这个存储视频的地方，就叫做源站。点播视频源站的职责，不仅仅是负责有效的存储这些视频文件，同时也要考虑如何高效稳定的让观众看到这些数据。

观众观看这些视频，通常是通过客户端从CDN下载视频数据，CDN的核心节点，会对接视频网站的源站，下载数据（这个过程通常称作回源），之后CDN会分发（并缓存）这些数据到观众。一个视频网站，可能会对接多个CDN，包括自建和商业，每个CDN，在不同的区域和运营商，可能也有不同的接入点。另外，视频源站内部的设计，也是分层级的，通过多级缓存和分发，逐级降低和分散访问压力。

源站内部服务器之间以及源站与CDN接入点的通信和数据传输，一般都是通过网络的，经常会有抖动。动态的选择好的分发链路，将大大提升数据从源站内部分发，以及到CDN的分发速度。

2. 传统的源站内部分发方案的缺点

前面提到，源站内部，其实是可以分层级或者已经分了层级的。在源站的不同层级之间，数据首先会存储在中央层，通过网络向下层分发，分发过程中，下级节点向上级的哪个节点回源，通常是固定的；CDN也是通过固定的接入点，对接源站回源。网络可能会有抖动，在某一时刻，按照固定的链路回源，可能不是最优的链路，甚至在故障期间是不可用的。

3. 通过基于机器学习的分发链路选择处理将带来什么好处

历史上每次回源下载文件，使用的链路，以及最终下载的速度（文件大小、下载时间）等数据是宝贵的资源，通过对这些数据进行机器学习，可对当前时间点、不同链路选择下针对一定大小的文件的传输做出下载速度预估，在这些链路中，选择出一个相对（预估）最优的链路进行分发，将大大提升源站的分发效率。

当然，通过机器学习预估后的结果，产生的下载速度，将作为下一步学习的输入数据，不断调整和学习，做到最优链路的选择。这个思路，不只是可以用在点播源站内部分发的过程中，同时也时可以使用在一些直播回源链路中的，只是学习的模型、参数会有差异。

4. PP云点播视频源站架构简介

PP云点播视频源站，分为三层，中央层为原始的视频文件存储以及HTTP下载缓存服务；转发层部署在全国几个BGP机房中，负责文件的中转以及临时缓存；边缘层对接各个CDN的接入点。

引入智能分发后，转发层和边缘层之间，其实是没有明显界限的，数据的分发选择节点更为自由和智能，CDN接入质量更优秀。

更多精彩分享，我们在上海等你

伴随Codec的百花争艳，WebRTC1.0定版，AI、区块链技术的快速发展，我们看到了多媒体与更多新技术的融合与实践。4月21日，我们邀请到腾讯、优酷、触宝科技、苏宁PP视频云、三体云、相芯科技的6位技术大咖一同分享多媒体开发的技术实践与未来展望。

讲师与话题：

•  吴威麒 触宝科技音频技术专家 《实时语音通信的音频后处理技术》 

•  曾小伟 PP视频云技术副总监 《如何使用机器学习算法优化分发链路》 

•  沈轲轶 腾讯天天P图iOS开发组长 《iOS实时相机的GPU实践》 

•  崔文秀 三体云产品副总裁 《实时音视频技术赋能传统行业》

•  蔡锐涛 相芯科技图形引擎负责人  《Animoji动态表情的技术实现》