快手开源图生视频模型——LivePortrait：一键让肖像“活”起来！

近日，快手和复旦大学、中科大共同研发的 LivePortrait 开源了！今天带大家一起了解一下～

让静态图像“活”起来

快手开源的图生视频模型LivePortrait是一款具有创新意义的AI肖像动画框架，该模型专注于通过单一静态肖像图像生成极具逼真感的动态视频肖像。

LivePortrait的亮点在于它不仅能够精确控制眼睛的注视方向和嘴唇的开合动作，还能处理多个人物肖像的无缝拼接。你可以将不同的人物特征合并到一个视频中，而且这些人物之间的过渡将平滑自然，不会产生任何突兀的边界效果。

通过扩展训练数据到约 6900 万高质量帧和采用混合图像视频训练策略，LivePortrait 能够更好地泛化，适应更多不同类型的输入数据。此外，LivePortrait 利用紧凑的隐式关键点代表混合形状，并设计缝合和重定向模块，这些模块使用计算开销极小的小型MLP，从而增强了对生成动画的控制能力。

甚至经过微调，你可以让小动物们模仿人的表情！

项目地址

项目的部署比较简单，首先克隆仓库，使用conda创建虚拟环境，安装所需的依赖项和FFmpeg。然后下载模型的权重文件，放到相应的目录，通过脚本运行即可。当然，如果你缺少一些相应的算力或是嫌部署过于麻烦，你也可以通过 HuggingFace 在线使用。感兴趣的小伙伴可以自行体验看看。

在线体验地址：

https://huggingface.co/spaces/KwaiVGI/LivePortrait

GitHub：

https://github.com/KwaiVGI/LivePortrait?tab=readme-ov-file

论文地址：

https://arxiv.org/pdf/2407.03168

*西安觉醒元宇宙AI，是专注线上AI培训、AI绘画辅导、AI开发服务的专业教育平台！

▍扫描下方二维码进入AI交流学习群，获取超多AI前沿知识！