虚拟偶像技术方案指南

鱼儿-1226

于 2023-01-04 15:50:57 发布

阅读量959

点赞数 1

分类专栏： UE unity3d 文章标签：语音识别人工智能

本文链接：https://blog.csdn.net/qq_21743659/article/details/128549451

版权

一般的虚拟偶像技术方案，主要包括以下几个部分，

动作捕捉
手势控制
表情控制
口型同步

除此之外，可能还会用到眼动捕捉，变声软件之类，这次先略过了。

整体来说，各部分常用的控制手段如下，

不同的技术方案，即为以上这些手段的组合。

首先我们来看最重要的动作捕捉。根据实现的原理，动作捕捉方案可分为光学以及惯性两类。光学动捕需要在场地安置多台摄像机，这些摄像机同时对演员身上佩戴的光学标记进行识别，从而得到演员的位置以及动作信息。惯性方案则是通过演员各关节佩戴的惯性传感器得到骨骼的旋转信息。

光学方案的优势在于精确度高，同时支持的人数多，而且可以取得绝对位置，便于演员之间、或者演员与物体之间的交互。而由于需要大量摄像机，所以初期成本、运营成本都很高，对使用人员的要求也更专业。

而惯性方案的优势在于设备成本低，使用方便，对场地也没特别要求，光学方案中可能出现的遮挡问题也能从原理上避免。另一方面，惯性方案由于无法取得各传感器的绝对位置，要实现诸如握手这样的多演员交互比较麻烦，而且因为惯性传感器会累计误差，随着使用时间增长，可能逐渐产生位置偏移，不得不经常校准。

常用的光学动捕包括，

VICON 是电影级设备，VTuber 用的人不多，彩虹社于 2019 年 10 月导入使用。

完整视频：

src:

OptiTrack 相比 VICON 价格稍低，也更为普及，使用者如虚拟女团 marinasu，

完整视频：

需要注意的是这是一段经过后期编辑的视频，可能并不代表 OptiTrack 捕捉的实际数据。

src:

惯性系统有，

XSens 作为比较高端的惯性方案广泛应用于 VTuber 以及动画制作中，比如下面的视频，

完整视频：

关注

专栏目录