unity3d技术摄像头跟随_虚拟偶像技术方案指南

今天我们来系统的介绍一下打造虚拟偶像需要用到的技术，希望可以帮助各位了解以下虚拟偶像这个新生事物在技术上是如何实现的，顺带还会介绍一些在 Unity 或是 Unreal Engine 中可能用的上相关插件。文章最后还会介绍几种免费打造虚拟偶像的软件，感兴趣的同学不要错过。

说是虚拟偶像，其实这些技术也可以应用于更广义的人型 3D 形象。这里侧重于针对使用 3D 形象进行直播的场景，如果是制作动画，由于可以后期编辑，对实时性、数据准确率的要求不是那么高，技术方案的选项也会更多些。

一般的虚拟偶像技术方案，主要包括以下几个部分，

动作捕捉
手势控制
表情控制
口型同步

除此之外，可能还会用到眼动捕捉，变声软件之类，这次先略过了。

动作捕捉

首先我们来看最重要的动作捕捉。根据实现的原理，动作捕捉方案可分为光学以及惯性两类。光学动捕需要在场地安置多台摄像机，这些摄像机同时对演员身上佩戴的光学标记进行识别，从而得到演员的位置以及动作信息。惯性方案则是通过演员各关节佩戴的惯性传感器得到骨骼的旋转信息。

光学方案的优势在于精确度高，同时支持的人数多，而且可以取得绝对位置，便于演员之间、或者演员与物体之间的交互。而由于需要大量摄像机，所以初期成本、运营成本都很高，对使用人员的要求也更专业。

而惯性方案的优势在于设备成本低，使用方便，对场地也没特别要求，光学方案中可能出现的遮挡问题也能从原理上避免。另一方面，惯性方案由于无法取得各传感器的绝对位置，要实现诸如握手这样的多演员交互比较麻烦，而且因为惯性传感器会累计误差，随着使用时间增长，可能逐渐产生位置偏移，不得不经常校准。

常用的光学动捕包括，

VICON

VICON 是电影级设备，VTuber 用的人不多，彩虹社于 2019 年 10 月导入使用。

https://www.zhihu.com/video/1216364636347564032

完整视频：

https://www.youtube.com/watch?v=rQNMvG_dlWY​www.youtube.com

src:

3D动作捕捉系统VICON导入！​www.bilibili.com

OptiTrack

OptiTrack 相比 VICON 价格稍低，也更为普及，使用者如虚拟女团 marinasu，

https://www.zhihu.com/video/1216364984252743680

完整视频：

https://www.youtube.com/watch?v=puDLucsK1lw​www.youtube.com

需要注意的是这是一段经过后期编辑的视频，可能并不代表 OptiTrack 捕捉的实际数据。

src:

https://area.autodesk.jp/case/technology-art/marinasu/​area.autodesk.jp

惯性系统有，

XSens MVN

XSens 作为比较高端的惯性方案广泛应用于 VTuber 以及动画制作中ÿ