Android 原生支持 Opus、AV1！但你真正要了解的还有更多

Android 开发者肯定已经知道了。Android Q 正式原生支持 Opus 与 AV1 了。在今年 3 月的时候，Google 发布了第一个支持 Opus、AV1 的公测版本。不过，速度真是快，时隔数月已经完成了原生支持。不过，光是知道这些，还不够。

首先，Opus 是什么？

在 Android Q 之前，开发者要使用 Opus，还需要自己下载源码并对其进行编译。Opus 是用 C 语言开发的一个高灵活度的音频编码器，而且是开源的，针对 ARM、x86 有特殊优化，是 WebRTC 默认的标准 codec。它融合了 SILK 编码方法和 CELT 编码方法的优点。

SILK 原本被用于 Skype中，基于语音信号的线性预测分析（LPC），对音乐编码支持并不好。 而 CELT 尽管适用于全带宽音频，但对低比特率语音的编码效率不高。 而这两块拼图正好形成了互补，使得 Opus 同时支持语音与音乐的编码。 在 Opus 里，SILK 主要负责处理 16kHz 及 8kHz 的信号，而 CELT 则能处理 8kHz 以上的信号。 实际上，关于 Opus 里 SILK 和 CELT 的工作模式并不仅仅这么简单，Opus 里共有 32 种模式用来处理不同种类的信号。

Opus 编码器

Opus 解码器

由于 Opus 是开源的编解码器，所以开发者可以针对自己对音质、传输的需要，基于 Opus 修改出符合自己要求的编解码器。

例如，我们即将在 RTC 2019 实时互联网大会上 开源声网Agora抗丢包音频编码器 SOLO™ 。其实 SOLO 与 Opus 颇有渊源，具体有何内在联系？我们的技术 VP 高泽华将在「编解码技术专场」上详细分享。同时，我们的音频算法工程师赵晓涵也将在「WebRTC 工作坊」中 详细讲解如何在 WebRTC 中应用 SOLO™ 。

那么，AV1 呢？

如果你参加过去年的 RTC 大会，可能还有印象。 我们曾邀请了 它是新一代的编解码技术，有四个特点：

• AV1 是一个开源、免费的生态系统，开放媒体联盟（AOM）的成员都将支持 AV1

• AOM 为 AV1 准备了资金进行法律方面的援助和专利保护

• AV1 相对于前一代产品使用了更前沿的编码技术，并取得了较好的压缩效率

• 在 AOM 的合作框架内为 AV1 提供了合作开放的环境

AV1 的前身是 Google 推出的 VP9。 相对于 VP9，AV1 有三个特点： Performance、Platform、Potential。 AOM 的框架使得 AV1 ，以及未来视频的发展都更有活力。 目前，AV1 的研发目前主要为互联网公司的视频点播提供压缩算法，Youtube、Netflix 都有在实际环境中测试应用过 AV1。 Android Q 原生支持 AV1，也就是意味着，未来将会有更多音视频应用可以用到压缩效率更好、性能更好的编解码器 AV1。

不过 AV1 还不会止步于此。事实上，业界已经有技术团队正在研究 通过 AI 来进一步优化 AV1 。在今年的 RTC 大会上，Visionular 的首席科学家兼联合创始人 Zoe Liu 将会在「编解码技术专场」上分享最新的研究成果。

还有更多你需要了解的

除了 Opus、AV1，现在还有一些新的编解码技术标准正在路上。这些编解码标准各有不同的特点，未来可以应用于多种场景中。例如，4K/8K 视频，现在很多社交娱乐、直播场景都希望可以采用 4K，“越来越清晰”是一个永恒不变的趋势，然而手机的性能毕竟有限，如何在有限的硬件、软件资源内实现更高的清晰度，或许你在今年的 RTC 大会中会得到答案。

再例如， VR 目前在教育、视频直播等方面有一些不错的应用案例，而且也已经有针对 VR 内容优化的国际编解码标准正在制定中，那就是 VVC/H.266。 我们今年还邀请到了参与 VVC 标准制定的阿里达摩院科学家 叶琰博士进行分享。

除此之外，RTC 大会上还有更多干货演讲：

Topic：感知编码在实时通信上的实践

Speaker：李佳俐 声网Agora高级视频算法工程师

感知编码是指在编码的时候结合人眼特性，进一步减除人眼通常注意不到的地方以达到节省码率的目的，或者加强人眼观看的主观效果。感知编码可以包含前处理、后处理以及编码过程中的多个算法。这里会简要介绍一下相关话题以及我们在实时通信领域限制下的相关实践。

Topic：新一代AVS3视频编码标准 

Speaker：马思伟 北京大学教授、AVS 标准组视频组组长

新一代AVS3视频编码标准自启动以来得到业界的广泛关注，已制定完成的AVS3基准档次相比于已有标准编码效率提升30%，将引领未来8K超高清、VR视频等产业应用的发展。本报告简要介绍新一代AVS3视频编码标准的最新进展情况，包括制定过程、关键技术、行业应用和未来展望等内容。

Topic：VVC overview and progress

Speaker：叶琰 阿里达摩院机器智能技术实验室视频技术负责人

多功能视频编码（VVC）标准是自2018年4月开始由ITU-T和MPEG联合视频标准委员会JVET开发的新一代视频压缩标准。与目前压缩性能最好的HEVC标准相比，VVC的目标是使用一半的比特率实现相同的视频质量。VVC的另一个重要设计目标是为各种视频应用的格式提供高压缩效率，包括传统的standard dynamic range（SDR）格式，high dynamic range（HDR）格式和全方向360度视频等格式。在最近的2019年7月的JVET标准会议上，VVC标准达到了被称之为committee draft（CD）的重要里程碑，标志着VVC标准中主要编码工具和功能已经基本选定，接下来的技术发展进入稳定阶段。在本次演讲中，我们将一起回顾一下VVC中的一些主要编码工具及VVC所支持的一些重要功能。我们还将VVC与其它视频编解码标准（如HEVC和AV1）做客观压缩性能的比较。最后我们会展望未来，看看在VVC定稿之前的最后的一年中JVET委员会还需要做的工作，并探讨一下业界预期VVC在行业和市场中会产生什么样的影响。

扫码申请限免门票

点击下方阅读原文，获取 RTC 2019 限免门票