在Unity中实现音口同步-01-概述

在Unity中实现音口同步-01-概述
在Unity中实现音口同步-02-Salsa
在Unity中实现音口同步-03-OneClick

---

Viseme，意为“可视音素”，在由语音驱动的头部动画中，对应一个音位的口型。
即，模型需要预先在建模软件中制作好这些口型动画（在Blender中即制作Shape Key，虽然叫做“动画”但是并不需要K时间帧），导进unity后模型就会具有BlendShapes参数。
如果你使用Blender的话，这套Shape Key教程3节课还挺好的：Working With Shape Keys in Blender: Part I - Intro
来自 https://www.youtube.com/watch?v=BhKCwbHv3oM&list=PLcVmXGedVLuahpG6bRniRryIc1QBz11Nk&index=1

方案1：OVR LipSync

免费插件
Oculus口型同步功能开发指南：
https://developer.oculus.com/documentation/unity/audio-ovrlipsync-unity/
模型要求：1个初始口型，14个音位口型
网站非常贴心列出了参考图片让大家参考着做BlendShape

Oculus Lipsync SDK: Audio to Facial Animation（视频9’30后有介绍使用流程）
来自 https://www.youtube.com/watch?v=4JGxN8q0BIw&list=RD4JGxN8q0BIw&index=1

方案2：SALSA LipSync

SALSA LipSync 插件$39
视频教程：SALSA LipSync Suite v2 - #2 (Viseme Configuration)
来自 https://www.youtube.com/watch?v=BQ-I1cow_t0&list=PLcVmXGedVLuYmcdOlOMWwFjEe06toMibh&index=2
（第2课7分钟可以看演示效果）
官方文档： https://crazyminnowstudio.com/docs/salsa-lip-sync/
插件官网： https://crazyminnowstudio.com/unity-3d/lip-sync-SALSA/

简介:
SALSA插件提供三个模块：Salsa、EmoteR、Eyes

• Salsa为2D或3D角色实现音口同步
• EmoteR (Emote Randomizer) 为面部动画提供随机性
• Eyes可以控制人物眼球的运动【待学习】

---

整理了一下Salsa官网可下载的辅助包：
对我来说比较有用的可能就下面5个吧

其他大部分是联合其他插件开发的支持包和OneClick安装包：
*Adventure Creator，Behavior Designer，游戏开发插件
*Cinema Director 类似于视频剪辑软件操作的插件
*Dissonance Voice Chat是一款插件，可以帮助开发者在游戏中集成语音实时聊天功能
*Master Audio: AAA Sound是Unity游戏开发的终极音频解决方案。
*NodeCanvas，好像类似Behavior Designer的插件，状态机、行为树、AI
*Playmaker，无需代码，状态机编辑
*Cinematic Sequencer类似于视频剪辑软件操作的插件