部分引导下的新图像合成
监督的三维姿势估计,需要免除变化为代价,例如形状和表现,而这些变化对于其他相关任务可能有用。学习到的模型task-bias而且dataset-bias。
本文从未标记的视频帧中分离这些变化
先验知识:人体骨骼姿势,基于单一部件的2D的木偶模型,人体姿势衔接约束,一组未配对的三维姿势
本文可区分的形式化,弥补了三维姿势和空间部件图之间的表示差别,可解释的姿势分离,允许在不同摄像机运动的视频上操作,未见过的野外数据及上定性结果
多任务中具有卓越通用性,超越普通任务例如三维姿势估计和部件分割
编码器网络
input:image
output:3个分离的表示,规范坐标系中视图不变的三维人体姿势;相机参数;代表前景FG人类外观的潜在代码;
解码器将上述编码表征投射到2D上,合成FG人体图像,产生二维部分分割
挑战:解除3D姿势,相机,外观的表示
方法:对同一个人但是不同姿势的视频帧的训练来实现分离
效果:从大规模的野外视频中学习,即使有摄像机运动。