奇声（IQDubbing）-- 面向影视剧的AI配音技术

 点击上方“LiveVideoStack”关注我们

▲扫描图中二维码或点击阅读原文▲
了解音视频技术大会更多信息

  //  

编者按：随着长视频制作行业和消费市场的持续发展，国外越来越多优秀内容“走进来”，同时更多的国内优秀作品“走出去”，这对配音本地化提出了极大的挑战。爱奇艺在自有的海量内容优势下，基于Voice Conversion，MDX，Denoise等AI技术，研发了面向影视剧场景的AI配音技术IQDubbing，有效地缓解了影视剧配音本地化的问题。LiveVideoStackCon 2022上海站大会邀请到了爱奇艺 AI算法高级经理 李海老师，为我们分享现代影视剧配音面临的挑战，以及面向影视剧的AI配音技术 —— 奇声（IQDubbing）的技术实现与应用实践。

文/李海

整理/LiveVideoStack

非常荣幸能有机会和大家分享爱奇艺在影视剧配音场景的应用技术。简单自我介绍下，我是李海，目前主要负责爱奇艺在成都的算法团队，负责影视剧AI配音技术方面的研究和工作。

本次分享将从以下几个方面展开：第一，从配音知识展开介绍现代影视剧配音的背景，面临困难与挑战，第二部分重点介绍奇声（IQDubbing）的业务体系与流程；第三部分重点介绍奇声（IQDubbing）的技术架构及关键技术实现；最后，会简单介绍下目前奇声（IQDubbing）的一些应用和实际效果。

1、现代影视剧配音

1.1 配音流程

什么是配音？听起来很简单，为影视剧配声音，不就是将人说话的声音配上去吗？刚开始时我也是这么认为，但其实这里的影视剧配音不仅是指人声还包含影视剧中其他可能存在的更多声音，所以我们广义的理解配音应当是为影片加入声音。要想将AI技术真正的落地到影视剧配音当中，在解决人声问题的同时还要解决影片中其他声音的部分。

那么，配音究竟是在做什么？是怎样的一个流程？

在我们拿到影视剧素材后，第一步首先要根据技术手段对素材进行段检查和格式规整；第二步就是翻译。在爱奇艺AI配音场景下有很多海外剧集，海外剧包含英语、印度语、俄语等其他各国语言，翻译则是双向的，在爱奇艺剧集出海时需要把中文翻译成对应国家语言；第三步，配音本制作。有的同学可能听说过，有点像字幕文件，内容又多于字幕文件，包含什么时候配音员应当用什么样的语气说什么样的话；第四步才是广义理解的配音制作，试配、选角，到录音棚配音、人声合轨、配音审核；第五步就是后期制作，包含混音、字幕文件制作、审核、音效等等。以上就是完成配音的一个完整流程。

在配音时需要有专业的配音员和录音设备，如图是之前与供应商合作的真实照片。

此外还需要混音室，空间音频都需要在混音室完成，这些对环境有一定要求，有一般的混音室和影院级混音室，出来的效果不尽相同，例如双声道立体声，5.1 7.1多声道。以上是完整的配音流程。

1.2 业务背景

爱奇艺配音场景下有两个大