对话Debargha Mukherjee:AV1历史和三个你可能不知道的工具

本文介绍了AV1编解码器的发展历程,由谷歌首席工程师Debargha Mukherjee分享了AV1的创建背景、技术特点以及在WebRTC中的应用。AV1在VP9基础上发展,融合了Thor和Daala项目,其环路滤波处理和定向增强滤波器等工具提升了压缩效率和图像质量。此外,AV1在实时音视频领域的应用得益于其对屏幕内容编码的支持,如调色板模式、帧内块拷贝模式等。
摘要由CSDN通过智能技术生成

翻译、编辑:Alex

图片

Debargha Mukherjee: 我是Debargha Mukherjee,谷歌的首席工程师。2015年~2018年间,我们在谷歌开发AV1,当时的核心团队包括我、许耀武(Yaowu Xu)、韩敬宁(Jingning Han)、Zoe Liu(微帧科技的联合创始人)等。

Mark Donnigan:非常高兴能够采访您。我对AV1的历史稍有了解,但我一直想听听真正开发它的人怎么说,而不是从那些二手和三手信息中获悉。所以,请跟我们谈谈AV1的历史,它是如何出现的?

AV1开发介绍

Debargha: 是这样,2010年,谷歌收购了一家叫On2 Technologies的公司。那时VP8是这家公司的编解码器,谷歌收购On2后做的第一件事就是将它原封不动地开源出去,使它成为一款免专利费的编解码器。这就诞生了WebM项目,它由VP8开始。如你所知,VP8目前仍然在世界各地的许多实时视频应用中使用。

接着,在VP8推出后不久,我们开始开发VP9。我们的目标是在2012年或2013年左右与HEVC同一时间推出VP9。最后我们做到了。所以VP9有些像是在与HEVC竞争,不过最后证明它效果非常好。

YouTube随后决定使用VP9,并于2013年开始传输由VP9编码的视频流。渐渐地,在接下来的两到三年中,由VP9编码的视频消费数量增长到了每天几十亿,而这仅仅是因为YouTube使用了VP9。

在VP9成功之后,我们开始研究VP10,即VP9的下一代。但是同一时期,在线视频交付领域中占据重要地位的很多其他公司也对我们的项目产生了兴趣,这些公司包括Netflix、亚马逊、Facebook(现已更名为Meta)和微软等。

所以我们当时决定,不再将VP10作为WebM项目的一部分,而是创立一个行业联盟。2015年我们开始进行各种协商,到了2015年底,一个被称为AOM(Alliance for Open Media)的联盟就诞生了。

我们当时决定不再发布VP10,而是将为VP10所做的开发用于AOM的编解码器。AOM的第一个编解码器被命名为AV1。另外,当时还有思科的Thor项目和Mozilla的Daala项目也在致力于实现非常有竞争力的免专利费的编解码器。

当时的想法是将Thor、Daala和VP10项目合并为AOM旗下的一个编解码器,也就是AV1。AV1的开发工作开始于2016年初,谷歌、思科、Mozilla、微软和其他包括Netflix在内的几家公司都参与到了其中。这项工作在2018年(大约在2018年中旬)完成,大约在HEVC和VP9推出五年之后。

AV1当时的压缩率(码率效率)比VP9提高了30%,这正是我们的最初目标。AV1发布时,我认为在所有已经标准化的编解码器中,它是最棒的。在压缩率方面,我们非常有信心它是当时的最佳编解码器。现在以及未来,我们将致力于使AV1在行业中获得更广泛的采用,并期待在未来几年推出下一代AOM编解码器。

Mark:我一直很好奇的是,这些谷歌、Facebook、思科、Mozilla等公司的工程师是如何聚到一起,并同意一起开发编解码器的?他们都有自己的工作,所属公司也有各自的业务和应用场景,其中一些相互补充,另外一些却截然不同。你们是如何一起工作的?你们会在某个特定时间段在同一个房间内工作吗?你们定期见面吗(比如每周)?当时的情形如何?

Debargha: 是的,整个工作过程与MPEG有些不太一样。MPEG通常是这样的:每三个月,所有人聚在一起待上一周,其间会有各种争论,然后一起享用午餐或者晚餐,等等。但是在AOM,我们不这样做。我们每周都会通话,然后每隔半年或一年会见面。所有人聚在一起讨论待处理的项目,包括待处理的提案或者试验决议等,并在短时间内(约两天左右)解决这些问题,这就是我们的工作方式。

当然,我们当时所遵循的工作流程并不像MPEG那样系统化,因为这是我们第一次在一起工作,所以它更像是一个学习过程。熟悉AOM下一代编码器开发方式的人可能比较清楚,现在的工作流程比之前系统化多了。

不过,当时这样的工作方式也使我们获得了更快的进展,这是好的一面,因为我们想像VP9那样在五年之内推出AV1,我们确实做到了。合作方面,在同一代码领域(或代码库领域),多家公司都会提交提案,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值