Sitcom-Crafter：北航联合港中文等高校打造的剧情驱动3D动作生成系统

最新推荐文章于 2025-05-15 10:49:45 发布

ai大模型应用开发

最新推荐文章于 2025-05-15 10:49:45 发布

阅读量1k

点赞数 25

文章标签： 3d 人工智能 faiss github 计算机视觉数据库

本文链接：https://blog.csdn.net/2401_85375298/article/details/147552305

版权

前言

在数字化内容创作领域，3D动画、游戏开发和虚拟现实等技术正飞速发展。然而，传统的人类动作生成方法面临着效率低下、成本高昂以及难以满足多样化需求的挑战。为了突破这些限制，北京航空航天大学、香港中文大学（深圳）、悉尼科技大学和中山大学等高校联合推出了 Sitcom-Crafter —— 一个基于剧情驱动的3D人类动作生成系统。

一、项目概述

Sitcom-Crafter 由北京航空航天大学、香港中文大学（深圳）、悉尼科技大学和中山大学等多所知名高校的科研团队联合开发。这些团队在计算机图形学、人工智能和动画技术等领域拥有丰富的研究经验和深厚的技术积累，为项目的成功实施提供了坚实的保障。

Sitcom-Crafter的主要目标是开发一个综合性的3D人类动作生成系统，能够基于用户提供的长剧情指导，生成多样化且物理真实的动作。该系统不仅支持人类行走、场景交互和人与人之间的交互，还通过增强模块优化动作的流畅性、自然性和同步性。

在这里插入图片描述

二、主要功能

（一）核心功能

人类行走 ：Sitcom-Crafter 支持角色在3D场景中的自然行走，能够根据场景和剧情需求动态规划路径，确保角色的移动符合物理逻辑和剧情要求。
人类与场景交互 ：角色可以与环境物体进行符合物理逻辑的交互，例如开门、拾取物品等。这一功能通过结合场景信息和深度学习模型实现，确保动作的真实性和自然性。
人类之间交互 ：系统能够生成角色之间的协调动作，减少碰撞并优化动作同步性。这一功能通过创新的3D场景感知技术实现，显著提升了多人交互的流畅性。

（二）增强功能

剧情解析 ：·使用大型语言模型（如 Gemini 1.5）解析剧本，将长剧情文本转化为具体的角色动作指令。·这一功能使得系统能够理解复杂的剧情逻辑，并将其分解为可操作的命令。
运动同步 ：确保不同模块生成的运动在时间上保持一致，避免动作衔接的生硬感。通过插值技术（如 Slerp），系统能够实现平滑的动作过渡。
手部姿态增强 ：通过检索数据库中的手部姿态，增强角色动作的自然性和表现力。这一功能利用 CLIP 模型检索与文本描述最相似的手部姿态。
碰撞修正 ：自动检测并修正人物之间的碰撞，提升动作的流畅性和物理真实性。系统会调整运动速度或路径，避免不必要的碰撞。
3D重定向 ：将生成的运动映射到现有的3D数字人物模型，确保最终视觉效果的高质量。这一功能支持将生成的动作应用于不同的角色模型。

三、技术原理

（一）运动生成模块

人类行走生成 ：基于深度学习模型（如 GAMMA）生成自然的行走动作。该模块通过学习大量行走数据，能够生成符合物理逻辑的行走路径。

人与场景交互生成 ：结合 DIMOS 方法和场景信息，生成角色与环境物体的交互动作。通过自监督学习，该模块能够自动适应不同的场景和物体。

人与人交互生成 ：使用自监督场景感知方法，通过 SDF（签名距离函数）点模拟周围环境，避免碰撞并生成多人交互动作。

（二）场景感知技术

SDF点合成 ：在训练过程中，系统自动生成环境的3D体素点信息，自动标注可行走区域和障碍物。这一策略无需额外数据采集，显著降低了成本。

碰撞检测与修正 ：通过 SDF 点检测角色与场景或彼此之间的碰撞，并调整运动轨迹或速度，避免碰撞。

（三）剧情理解与命令生成

使用大型语言模型解析剧情文本，将其转化为具体的角色动作指令。这一模块能够理解复杂的剧情逻辑，并将其分解为可操作的命令。

（四）增强模块

运动同步 ：通过插值技术（如 Slerp）确保不同模块生成的运动平滑过渡。

手部姿态检索 ：利用 CLIP 模型检索与文本描述最相似的手部姿态，增强动作的自然性。

碰撞修正 ：调整运动速度或路径，避免人物之间的碰撞。

3D重定向 ：将生成的运动映射到高质量的3D数字人物模型，提升视觉效果。