画质提升+带宽优化，小红书音视频团队端云结合超分落地实践

随着视频业务和短视频播放规模不断增长，小红书一直致力于研究：如何在保证提升用户体验质量的同时降低视频带宽成本？

在近日结束的音视频技术大会「LiveVideoStackCon 2023」上海站中，小红书音视频架构视频图像处理算法负责人剑寒向大家分享了一项创新技术——基于人眼感知质量的端云结合超分框架。现场分享颇受关注，为此我们整理了分享内容，以飨读者。

以下全文根据剑寒演讲整理

大家好，我是剑寒，目前在小红书音视频架构负责视频图像算法研发和落地。今天我分享的主题是《基于人眼感知质量的端云结合画质及带宽优化实践》，核心是画质与带宽优化，有两个关键词分别是端云结合以及人眼感知质量。

我的分享分为以下几个部分：

1. 首先介绍小红书的视频处理架构，以及我们如何思考音视频系统中视频处理最重要的两个目标，即提升观看画质体验和降低视频带宽成本。

2. 接下来介绍小红书自研的一个基于 AI 的无参考视频质量评估算法 RedVQA，它提供与人眼视觉感知一致的质量评估。

3. 我们结合 RedVQA 设计了一个端云结合超分，在带宽节省以及多项播放技术指标上具有显著收益，契合当下降本增效的需求。端侧超分的部署在画质提升以及带宽节省上都有帮助。

4. 最后是总结和展望。

首先，大家对小红书的印象是什么呢？

小红书最初主要面向消费场景，比如美妆产品的分享和购买攻略。经过近几年的发展，小红书已经变成了一个综合的 UGC 分享社区，在“衣食住行玩”各方面都有大量的用户真实分享，提供很多有价值的信息。同时用户群体也发生了较大的变化，性别以及各年龄段的用户比例变得更加均衡。

另一个显著的变化是：小红书以前主要是图文笔记分享，随着视频成为用户分享生活的重要载体，小红书也响应趋势提出视频战略，目前用户刷小红书可以发现视频笔记占了很大的比例。当前每日新增视频达到了百万级别，直播消费侧业务也在稳步提升。

那么，PUGC 点播及直播业务背后涉及的关键技术有哪些？

这里展示一张架构图，整个链路主要包含生产端、云端和消费端，用户在生产端进行内容创作、编辑和推流；然后将内容发布到后台云端进行处理，主要包括多档位视频转码、内容审核与理解、以及视频搜索与推荐；消费端则是用户实际体验的场景，用户体验来自两方面，一方面是视频推荐内容的体验，另一方面是视频画质及播放流畅度的体验，后者也是我们在音视频处理中需要关注和优化的目标。从这张图可以看到，音视频处理横跨三端，也是整个上层视频业务及应用的基础设施，我们需要保障整条视频链路的稳定和通畅、关注用户体验以及降低成本（带宽、计算、存储等）。

回归本次分享的主题：如何对画质与带宽进行优化？

在论述这个话题前，先简单介绍一下背景。

小红书成立专业的音视频团队还不到 2 年，如果是正常的研发路径，应该是先提升体验，容许增加一些成本。但是在疫情之后，全行业进入降本增效主题，降成本也成为我们重要目标之一。而提升体验是建立这个专业团队的初衷，在不牺牲用户体验的前提下来换取技术成本的节省，唯一的手段就是提升技术和优化策略。

因此，我们算是跑步进入了“深水区”，比较幸运的是，一方面我们是站在行业经验的肩膀上；另一方面，我们也有后发优势，并结合自己的思考可以进一步改进和优化。所以如何兼顾体验和成本？下面分三个层面说说我的理解。

1、模块级优化

首先，大家熟知的是编码标准的迭代和升级，每一代标准相比前一代标准在画质基本不变前提下可以节省 30%~50% 的码率。当前小红书大规模部署的是 H.265 标准，目前达到比较高的覆盖率。在研主要标准是 AV1，H.266 未来也可能会跟进。

新一代标准大规模落地还需要一些时间，当前主要挑战是计算复杂度比较高。对于点播来说，云端可以用计算成本来换，而在播放端，当前硬解 AV1 和 H.266 的设备非常少，因此需要配套部署经过极致优化的软解。