Sitcom-Crafter：动画师失业警告！AI黑科技自动生成3D角色动作，剧情脚本秒变动画-CSDN博客

本文链接：https://blog.csdn.net/qq_19841021/article/details/145800961

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🚀 「当LLM遇见3D物理引擎：开源框架实现剧本→动画全自动生成」
大家好，我是蚝油菜花。在SIGGRAPH 2024引爆讨论的Sitcom-Crafter，正在重新定义3D内容创作：

三大技术革命：

从独立游戏到影视级动画，这套系统已帮助团队将动作制作效率提升300%。接下来我们将深度解析其八大模块如何协作——你的动画师可能要转型AI教练了！

🚀 快速阅读

Sitcom-Crafter 是一个基于剧情驱动的 3D 动作生成系统，能够高效生成符合物理逻辑的动作。

Sitcom-Crafter-Teaser-detail

Sitcom-Crafter 是一套综合性的 3D 场景中人类动作生成系统，旨在通过剧情指导生成多样化且物理真实的动作。它由八大部分组成，其中三大模块专注于运动生成，其余五个模块则用于动作优化和增强。

该系统的核心创新点在于其 3D 场景感知技术和自监督 SDF 策略，无需额外数据采集即可生成符合物理逻辑的动作。这种设计显著提升了创作效率，为动画制作、游戏开发以及虚拟现实等领域的设计师提供了高效的智能化解决方案。

此外，Sitcom-Crafter 支持多种动作类型，包括人类行走、人与场景交互以及人与人之间的交互。这使得它在复杂剧情驱动的任务中表现尤为突出。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

运动生成模块：
- 人类行走生成：基于 GAMMA 等方法，通过深度学习模型生成行走运动。
- 人与场景交互生成：结合 DIMOS 方法，利用场景信息生成交互动作。
- 人与人交互生成：使用自监督场景感知方法，通过 SDF 点模拟周围环境，避免碰撞并生成多人交互动作。
场景感知技术：
- SDF 点合成：随机生成周围物体的 SDF 点，模拟障碍物。
- 碰撞检测与修正：通过 SDF 点调整运动轨迹或速度，避免碰撞。
剧情理解与命令生成：使用大型语言模型（如 Gemini 1.5）解析剧情文本，转化为具体运动指令。
增强模块：
- 运动同步：通过插值技术确保不同模块生成的运动平滑过渡。
- 手部姿态检索：利用 CLIP 模型检索最相似的手部姿态。
- 碰撞修正：调整运动速度或路径，避免人物之间的碰撞。
- 3D 重定向：将生成的运动映射到高质量的 3D 数字人物模型。

Sitcom-Crafter 需要以下硬件和软件环境：

安装依赖项：

pip install -r requirements.txt

注意：部分依赖包（如 pointnet2_ops 和 pytorch3d）可能需要手动编译，请参考官方文档完成安装。

下载 InterHuman 数据集并将其转换为标记点格式：

cd HHInter
python rearrange_dataset.py

下载 Inter-X 数据集并进行类似处理：

cd HHInter
python rearrange_dataset_interX.py

执行以下命令以生成基于剧情驱动的动作序列：

cd HSInter
python synthesize/demo_hsi_auto.py

需确保已正确配置预训练模型路径，并根据需求修改 save_path_name 参数。

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦