在许多计算机图形应用中,创建逼真地呈现和可控制的人物角色动画是一项至关重要的任务。这个人物称为任务视频生成(human video generation)。虚拟演员在游戏和视觉效果,远程呈现或虚拟和增强现实中发挥着关键作用。今天,视频逼真角色的合理演绎 - 即与用户控制下的人类视频区别开来的动画在其他领域也很重要,例如在模拟环境中为人类世界提供摄影的训练数据 - 基于自主系统和车辆的感知算法。在那里,模拟角色可以制作大量注释的现实世界场景和动作,这在现实世界中很难实际捕获。此外,实际上无法捕获危险情况的训练数据,例如意外跑到街道上的儿童,但这种图像数据对于自主系统的训练至关重要。
利用已建立的计算机图形建模和渲染工具,创建与人的视频无法区分的真人的照片真实虚拟克隆仍然是高度复杂且耗时的过程。为了实现这一目标,高品质的人体形状和外观模型需要手工设计或从具有复杂扫描仪的真实个体中捕获。真实世界的运动和性能数据需要由艺术家设计或使用密集的相机阵列捕获,并且需要复杂的全局照明渲染方法来逼真地显示动画。结果,视频逼真的虚拟人的创建和渲染非常耗时。
本资源整理了人物视频生成(human-video-generation)最新必读论文、公开数据集,分享给需要的朋友。
资源整理自网络,资源获取见源地址:https://github.com/yule-li/Human-Video-Generation
2018
Face2Face: "Real-time Face Capture and Reenactment of RGB Videos" "CVPR" (2016) [paper][project]
PSGAN: "Pose Guided Human Video Generation" "ECCV" (2018) [paper]
DVP: "Deep Video Portraits" "Siggraph"(2018) [paper][project]
Recycle-GAN: "Recycle-GAN: Unsupervised Video Retargeting" "ECCV"(2018) [paper][project][code]
X2Face: "X2Face: A network for controlling face generation by using images, audio, and pose codes" "ECCV"(2018) [paper][project][code]
EBDN: "Every