音视频算法在淘宝中的应用

近年来，内容业务在行业蓬勃发展。淘宝也在积极进行内容化转型，本次LiveVideoStackCon 2021 上海站大会我们邀请到了阿里巴巴淘系技术高级算法专家——王立波（庄恕），回顾淘宝从图文到短视频直播的发展历程，介绍音视频算法在其中的应用和未来的投入方向包括编解码、视频处理、音频通讯与互动。

文 / 王立波（庄恕）

整理 / LiveVideoStack

很高兴与大家进行交流与分享，首先介绍一下自己，我是来自淘系技术部的王立波，花名庄恕，今天分享的主题是音视频算法在淘宝中的应用。刚接到这个任务时，觉得题目特别大，可以讲的东西特别多，经过考虑我还是决定集中讲3个观点，可以为大家介绍得更详细。

这三个观点分别是：视频压缩有效降低成本（这个观点在业界应该已经被大家所接受）、视频处理提升画质体验（随着阿里云的窄带高清的推广，也逐渐被大家接受）、音频技术是新的生产力（这是淘宝过去1-2年发力探索的方向，希望能够为行业带来新的思考）。

01

业务介绍

首先我简短介绍一下淘宝的内容业务。随着通信技术的发展，互联网内容生态从2G时代的文字，过渡到3G时代的图片，再到4G时代的直播和短视频；对于淘宝来讲，同样也面临“内容化”的全面升级。

淘宝从PC走向移动，从图文走向直播短视频，从传统电商走向内容电商再到发现电商、兴趣电商。在过去的2020年，淘宝直播的GMV突破4000亿，去年双十一一天之内有超过7亿人次观看淘宝直播；2020年底随着点淘，逛逛的推出，短视频成为内容业务发展的新引擎；在这个飞速发展过程中面临巨大的成本压力。

02

视频压缩有效降低成本

2.1 从图片压缩说起

第一个观点，视频压缩有效降低成本。

说起编解码，可能不得不先提图片压缩了，这是一张小小的商品详情图，在直播短视频兴起之前，图片是大家获取信息主要手段，随着用户增长，成本压力越来越大，过去几年中，淘宝图片日均播放量超过千亿次，如果通过降低质量来降低成本会牺牲大家的体验，所以我们希望依靠技术升级来提高压缩效率。

2.1.1 图片压缩标准的演进

大家应该很熟悉图片压缩。图片压缩实际上是一个去除空间冗余的过程，从标准发展上来看，主要经历了JPEG，基于VP8内核的WebP，以及HEVC MSP三代。

这里我对各种格式做了一个简单总结，JPEG是目前使用最广泛的图片压缩标准，从1992年公布至今已经接近三十年，它非常简单高效。10年前左右，Google基于VP8内核发布了WebP格式。WebP在块划分，预测，变化，量化，熵编码方面比JPEG更优，且增加了Deblock功能；HEVC则比WebP更进一步，通过多个工具的升级来提升压缩效率，另一方面，由于Tile划分及Wpp技术的引入，HEVC给Codec工程实现提供很多并行化的手段，这对现代多核CPU来说比较友好。

为了比较三种格式在不同场景数据集下的压缩效率，我们设计图中实验。得出的结论是WebP比JPEG大约提升29%的压缩性能，HEVC对比JPEG大约提升接近50%压缩效率。

2.1.2 淘宝自研APG格式

APG是淘宝自研的图片格式，有三个特点。第一，有非常高的压缩效率，对比JPEG节省50%码率，非常接近HEVC；第二，高效率的移动端解码器，对比Webp减少20%解码时间；第三，支持Alpha通道和动图，动图被广泛使用的是GIF格式，而GIF没有考虑到帧与帧之间的相关性，压缩效率不高，而APG对比GIF节省10倍体积；

除此之外，我们对整个系统的架构方面也进行了大量工作，比如高并发实时响应、CDN的下发策略、存储和计算分离，多内容灾等策略，最终实现了淘宝千亿级的实时图片处理系统，在大大节省业务成本的同时也保障了画质体验。

2.1.3 内容业务进化为视频为主

随着内容业务的进化，视频和直播占据了主要流量。一方面信息表达从空间维度拓展到时间维度，另一方面，分辨率也提升到720P，1080P甚至4K，消费时长也成倍增长，（刚才陈老师有数据，每个人花费在视频的平均时间可能有好几十分钟）。我们也知道，每一代视频压缩标准相比上一代有50%的码率节省，从MPEG4到H.264/AVC到H.265/H