X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention
X-Portrait是由字节跳动美国团队开发的创新条件扩散模型,专门用于生成富有表现力且时间连贯的肖像动画。该技术能够根据单一肖像图像作为外观参考,结合驱动视频中的动作,捕捉高度动态和微妙的面部表情以及广泛的头部运动。X-Portrait的核心是一个预训练的扩散模型,作为渲染骨干,同时在ControlNet框架内通过新颖的控制信号实现精细的头部姿势和表情控制。与传统的基于面部标志点的粗略显式控制相比,X-Portrait的运动控制模块能够直接从原始驱动RGB输入中解释动态,并通过基于补丁的局部控制模块增强对小规模细节(如眼球位置)的运