Meta利用视觉信息来优化3D音频模型，未来将用于AR/VR

我们知道，Meta为了给AR眼镜打造智能助手，专门开发了第一人称视觉模型和数据集。与此同时，该公司也在探索一种将视觉和语音融合的AI感知方案。相比于单纯的语音助手，同时结合视觉和声音数据来感知环境，可进一步增强智能助手的能力，比如模拟人类感知世界的方式，来理解声音在空间的传播方式。

Meta表示：在元宇宙社交、AR观影等多种场景中，声音都扮演了重要的角色。为了满足沉浸式AR/VR场景的需求，Meta决定采用AI来实现高保真的音质，并与沉浸的空间逼真匹配。

https://v.qq.com/txp/iframe/player.html?vid=j3345qptjox

为此，Meta AI科研人员和Reality Labs音频专家、德克萨斯大学奥斯汀分校科研人员合作，开发了三个专为AR/VR打造的声音合成AI模型：Visual Acoustic Matching Model（视听匹配模型）、Visually-Informed Dereverberation（基于视觉信息的抗混响模型）、VisualVoice（利用视听提示将对话和背景音区分）。它们特点是可对视频中人类对话和声音进行视听理解，并与3D空间定位进行匹配，实现沉浸的空间音频效果。

简单来讲，这种AI模型根据外观和声音来理解物理环境。我们知道，声音在不同的物理空间中听起来也会有不同，比如在山洞里你会听到自己说话的回声，而在音乐厅和客厅两种不同规模的空间中，声音传播效果也不相同。这是因为，声音传播路径受到空间结构、材料和表面纹理、距离等因素影响，因此听起来会有所不同。

一，Visual Acoustic Matching Model（视听匹配模型）

在这个模型中输入在任何场景录制的音频片段，以及一张目标场景的图像，便可以将录音片段与