论文
文章平均质量分 93
Are_you_ready
这个作者很懒,什么都没留下…
展开
-
MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
在视频中,运动主要包括由相机运动引起的相机运动和由物体运动引起的物体运动。对这两种运动的精确控制对于视频生成至关重要。然而,现有的工作要么主要关注一种类型的运动,要么没有明确地区分两者,从而限制了其控制能力和多样性。原创 2024-03-11 20:56:07 · 967 阅读 · 0 评论 -
LVDM(Latent Video Diffusion Models for High-Fidelity Long Video Generation)
这个操作就是不拿z0进行条件化,而是拿任意时间s(s属于时间步t内的值),zs作为训练期间的条件,即不是拿zi0去做条件,而是拿zis去做条件。尽管上述分层生成方式可以减少自回归步骤的数量,以克服质量下降的问题,但为了生成足够长的视频样本,更多的预测步骤是必不可少的。因此,我们提出了一个条件潜在扩散模型,该模型可以以自回归的方式根据前一个潜在码生成未来潜在码,以促进长视频的生成。给每个编码帧添加一个掩码m,m为1则为条件帧,需要将这个帧替换为没有加噪的帧,也就是替换为zi0。感觉也是在分层插帧那用到。原创 2024-03-11 10:06:50 · 855 阅读 · 0 评论