简介
UniRig 的开发背景源于 3D 动画和内容创作领域的实际需求。随着元宇宙、游戏开发和数字内容生产的快速发展,3D 模型的需求呈爆炸式增长。然而,骨骼绑定(rigging)——为 3D 模型创建骨骼并分配蒙皮权重——是一个复杂且耗时的过程,通常需要专业技能和大量手工操作。例如,手动绑定一个复杂模型可能需要数小时甚至数天,且对非标准拓扑(如动物或无机物)尤其困难。
UniRig 由清华大学和 VAST-AI(Tripo)联合开发,目标是自动化这一流程,提供一个统一的框架,适用于多样化的 3D 模型,包括人类、动物、虚构角色和无机结构。项目于 2024 年底发布,2025 年 4 月开源,受到社区关注(GitHub 仓库活跃,X 平台讨论热烈,如 @Gorden_Sun
提到其在 3D 影视和游戏中的可控性)。UniRig 的核心创新在于将大型语言模型(LLM)的自回归思想应用于骨骼绑定,显著提高了效率和准确性,论文《One Model to Rig Them All: Diverse Skeleton Rigging with UniRig》详细阐述了其方法。
市场需求与痛点
-
多样性挑战:现有绑定方法(如 Autodesk Maya 的自动绑定工具)对非标准拓扑(如四足动物或机械结构)表现不佳。
-
效率瓶颈:手动绑定耗时,限制了大规模内容生产(如元宇宙中的虚拟角色生成)。
-
数据支持:缺乏大规模、多样化的绑定数据集,限制了自动化研究。
项目目标
自动化生成高质量骨骼和蒙皮权重,支持从简单的人形模型到复杂的无机物。
提供开源框架,降低开发者和动画师的技术门槛。
通过 Rig-XL 数据集(14,000+ 模型)推动学术和工业研究。
技术原理
UniRig 的技术架构分为两个主要阶段:骨骼预测和蒙皮权重预测,结合了大型自回归模型、骨骼树标记化(Skeleton Tree Tokenization)和骨骼-点交叉注意力机制。以下是详细原理:
骨骼预测(Skeleton Prediction)
-
输入:从 3D 网格采样的点云,包含几何信息,可选的类别信息(如“人类”或“动物”)。
-
处理流程:
-
形状编码器(Shape Encoder):提取点云的几何特征,生成表示模型形状的特征向量。
-
骨骼树 GPT(Skeleton Tree GPT):使用 GPT 风格的 Transformer,通过自回归方式逐一预测骨骼关节,形成拓扑有效的骨骼层次结构。
-
骨骼树标记化(Skeleton Tree Tokenization):核心创新,将复杂骨骼结构编码为线性序列,包含:
- 关节坐标:离散化的空间位置,确保几何精度。
- 层次结构:定义父子关系,保证骨骼树的拓扑有效性。
- 语义信息:标记骨骼类型(如主骨骼、IK 控制器、物理骨骼)。
-
解码:将生成的标记序列解码为完整的骨骼层次结构。
- 技术亮点:
-
自回归模型将骨骼生成视为“语言”生成任务,类似 LLM 处理文本序列。
-
骨骼树标记化解决了复杂层次结构的编码难题,适应多样化模型。
蒙皮权重预测(Skinning Weight Prediction)
-
输入:骨骼预测阶段生成的骨骼树和原始点云。
-
处理流程:
-
点编码器(Point-wise Encoder):提取点云的局部和全局几何特征。
-
骨骼编码器(Bone Encoder):处理骨骼树的结构和语义信息。
-
骨骼-点交叉注意力机制(Bone-Point Cross Attention):
-
结合点云和骨骼特征,计算每个顶点受周围骨骼的影响权重。
-
生成平滑、自然的蒙皮权重,确保动画时皮肤变形真实。
-
-
附加属性预测:为特定骨骼(如物理骨骼)预测物理参数(如弹簧系数),支持高级动画效果。
- 技术亮点:
-
交叉注意力机制高效融合几何和骨骼信息,解决传统方法在复杂拓扑上的权重分配问题。
-
支持多样化骨骼属性,增强动画表现力。
模型性能
-
准确性:在 Rig-XL 和其他数据集上,UniRig 的绑定准确率提升 215%,运动准确率提升 194%,超越现有学术和商业方法(如 Autodesk 的工具)。
-
通用性:支持从动漫角色到复杂有机/无机结构的绑定,鲁棒性强。
-
效率:自动化流程大幅减少手动绑定时间,适合快速原型开发。
对比
详见技术报告
看看效果
相关文献
官方地址:https://zjp-shadow.github.io/works/UniRig/
技术报告:https://arxiv.org/pdf/2504.12451
github地址:https://github.com/VAST-AI-Research/UniRig