适用于影视剧场景的智能配音算法实现

近日，爱奇艺研发了适用于影视剧配音场景的智能配音系统：奇声（IQDubbing）影视剧智能配音系统。该解决方案基于多种自研 AI 技术，并以 Voice Conversion 为核心技术，提供了多语种、多音色的 AI 配音功能，具有高表现力、高自然度等优点，已经落地于情感丰富的影视剧配音场景，多部影片已成功上线爱奇艺国内国外站点。

系统的亮点

1、多语种：已支持包括中文普通话、泰语、越南语在内的多个语种配音；

2、多音色：根据影视剧角色类型，已支持男女全年龄段，同时支持多个不同人设音色，如干练女强人、知性淑女、磁性霸总、阳光男孩等多达 50 多种不同音色的模型；

3、高表现力：对于影视剧场景中常见的喜怒哀乐抑扬顿挫可以高细腻度还原；

4、高自然度：媲美真人的高保真音质和自然度，很好地保留输入的情感和内容。

01

   项目背景

奇声的研发基于实际的业务场景需要，团队深入了解了配音行业，发现有很多亟待解决的问题：

  1、待配音的影视剧数量大  

经过调研，近 5 年来，我国从国外引入的电影超过 2000 部，而仅有极少数院线电影有中文配音版本，而国内有大量的用户有中文普通话的观影需求。另一方面，国内几家主要的视频平台，都有出海的策略，巨大数量的优秀国产影视剧集需要出海，需要做本地化配音，如泰语、越南语等。这两方面的需求加起来是一个巨大的工作量和巨大的成本。

  2、音色难匹配  

一部电影通常有很多角色，角色稍微丰富些的可以达到 20 多个，而电视剧的角色则更加丰富。为这些影视剧角色寻找合适的配音音色是一件困难的工作，而为小语种配音寻找合适的音色则是难上加难。

  3、配音员稀缺  

影视剧配音在要求配音演员音色符合角色的人设外，还要求对角色有很好的情感演绎能力，这点比有声书配音的要求高了不少，从而导致符合要求的影视剧配音演员成为稀缺资源。而优秀的小语种配音演员则更加稀缺。

  4、国际声问题  

国际声是制作影视剧配音的前提，而很多影片并没有国际声，因此如何获取或者制作国际声则成为制约配音影片的重要因素。

为了解决业务面临的问题，我们研究并开发了奇声（IQDubbing）智能配音系统，自研了多个 AI 模型，并通过配音管理平台将多个 AI 模型嵌入到配音业务的流程中，为业务赋能。

02

   解决思路

  系统流程  

1、对白轨制作：使用单人配音员进行单人配音，得到单人音轨后，使用奇声音轨检查及分轨工具，对音轨进行初步处理。该功能包含了多个智能化功能，如分轨检查等。通过检查后，得到了按照角色的分轨，并使用该系统的核心功能，多语言多音色的变声模型，根据所选择的音色模型，将原始的单音色音轨变声为对应的多角色音轨；

2、国际声制作：对于没有符合要求的国际声，我们通过AI模型进行修复和制作，使得国际声达到上线标准；

3