CVPR 2024中有哪些值得关注的视频生成和视频编辑方向的论文？

已于 2024-03-27 10:53:48 修改
阅读量1.5k 收藏 30
点赞数 21
分类专栏： Diffusion Models与深度学习 文章标签： 视频生成 视频编辑 人工智能 AIGC
于 2024-03-21 10:28:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/136816055
版权
CVPR 2024聚焦视频生成与编辑，展示了众多基于Diffusion Models的创新成果。文本到视频生成如TF-T2V提升性能，DisCo实现解耦控制的舞蹈生成，MagicAnimate增强时间一致性。视频编辑方面，CoDeF提供时间一致的视频处理，VidToMe实现零镜头视频编辑。这些工作推动了AI在视频内容创造和编辑领域的进步。
摘要由CSDN通过智能技术生成

Diffusion Models视频生成-博客汇总

前言：轰轰烈烈的CVPR 2024所有accept paper已经全部公开，随着Sora的爆火，视频生成和视频编辑是目前计算机视觉最火热的方向，受到了很多人的关注。这篇博客就整理盘点一下有哪些值得关注的视频生成和视频编辑方向的论文？值得做这个方向的小伙伴收藏学习。

目录

视频生成

A Recipe for Scaling up Text-to-Video Generation with Text-free Videos

DisCo: Disentangled Control for Realistic Human Dance Generation

MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model

Make Your Dream A Vlog

Panacea: Panoramic and Controllable Video Generation for Autonomous Driving

Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners

SyncTalk: The Devil is in the Synchronization for Talking Head Synthesis

VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models

VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models

视频编辑

CoDeF: Content Deformation Fields for Temporally Consistent Video Processing

VidToMe: Video Token Merging for Zero-Shot Video Editing

视频生成

A Recipe for Sca

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
专栏目录
订阅专栏
51-48 CVPR 2024 | Vlogger: make your dream a vlog 自编剧制作视频博客
AIgraphX
05-06 1425
为处理复杂的故事情节和多样化的场景，本文提出了一个名为Vlogger的通用AI系统，将长视频生成任务优雅地分解为四个关键阶段，包括 (1) 剧本Script，(2) 演员Actor, (3)制作人ShowMaker 和 (4) 配音员Voicer。
论文解读 | CVPR2024：统一且通用的视频分割大模型
AITIME_HY的博客
05-13 1228
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！李明晗李明晗，香港理工大学博士生，博士生导师张磊。在这之前，她跟随孟德宇老师在西安交通大学数学院取得硕士学位。他的研究兴趣是视频复原，分割和生成任务。李明晗以第一作者在CVPR发表4篇文章，在TIP发表一篇文章。同时她也是很多CCF会议和期刊的审稿人，包括CVPR，ICCV，ECCV，AAAI和信号处理。内容简介 尽管统一图像分割取得了很...
实时追踪科研动态丨杨健、Jürgen Schmidhuber等人8.17精选新论文，附ChatPaper综述
AI_Conf的博客
08-18 280
为了解决当前研究中开放域轨迹控制的问题，论文提出了三个方面的轨迹建模方法：Trajectory Sampler（TS）用于实现对任意轨迹的开放域控制，Multiscale Fusion（MF）用于控制不同粒度的轨迹，Adaptive Training（AT）策略用于生成沿轨迹连贯的视频。这种网络包括两个扩散流，视频内容和动态分支，它们可以分别在私有空间中运行，以生成个性化的视频变化和内容，并通过利用设计的交叉变换器交互模块在内容和动态领域之间实现良好对齐，从而提高生成视频的平滑度。
Video Generation论文阅读笔记DisCo: Disentangled Control for Referring Human Dance Generation in Real World
lperooo的博客
07-24 644
生成式人工智能在计算机视觉领域取得了重大进展，特别是在基于文本描述的图像/视频合成方面。尽管取得了进展，但在生成以人为中心的内容，如舞蹈合成方面仍然具有挑战性。现有的舞蹈合成方法在合成内容与真实世界舞蹈场景之间存在差距。在本文中，我们定义了一个新的问题设置：基于参考的人类舞蹈生成，重点关注具有三个重要属性的真实世界舞蹈场景：(i) 保真度：合成应该保留参考图像中人物主体和背景的外观，并精确地遵循目标姿势；(ii) 通用性：模型应该适用于未见过的人物主体、背景和姿势；
CVPR2024｜AIGC(图像生成，视频生成，3D生成等)相关论文汇总（附论文链接/开源代码/解析）【持续更新】
Kobaayyy的博客
02-28 3694
整理汇总下今年CVPR AIGC相关的论文和代码
DISCO: Disentangled Control for Realistic Human Dance Generation
weixin_44994838的博客
05-28 625
fgppt​pp1​p2​⋯pT​}It​VI1​I2​⋯IT​}fgpctext​∈Rl×dcf​∈Rhw×d。
AIGC视频生成/编辑技术调研报告
孙佰贵的专栏
11-09 3359
随着图像生成领域的研究飞速发展，基于diffusion的生成式模型取得效果上的大突破。在图像生成/编辑产品大爆发的今天，视频生成/编辑技术也引起了学术界和产业界的高度关注。该分享主要介绍视频生成/编辑的研究现状，包括不同技术路线的优劣势，以及该领域当下面临的核心问题与挑战。
51-61 CVPR 2024 最佳论文 | Rich Human Feedback for Text-to-Image Generation
最新发布
AIgraphX
06-26 1375
受大模型中RLHF技术启发，团队用人类反馈来改进Stable Diffusion等文生图模型，提出了先进的RichHF-18K数据集和多模态RAHF模型。
Diffusion Models视频生成-博客汇总
沉迷单车的追风少年
10-28 3652
Diffusion Models视频生成-博客汇总
CVPR2018论文合集一
07-04
这项技术在运动分析、视频编辑等领域有广泛应用，CVPR2018的相关研究可能涉及改进的追踪算法和时空一致性模型。 6. **图像分割**：图像分割是将图像划分为具有不同语义的区域，如像素级分类。在医疗影像分析、自动...
探索未来视频编辑新纪元：VidToMe —— 跨帧令牌融合的零样本视频编辑神器
gitblog_00075的博客
06-20 380
探索未来视频编辑新纪元：VidToMe —— 跨帧令牌融合的零样本视频编辑神器 VidToMeVidToMe: Video Token Merging for Zero-Shot Video Editing项目地址:https://gitcode.com/gh_mirrors/vi/VidToMe 项目介绍 在视频编辑的璀璨星空中，一颗新星正冉冉升起——VidToMe。由一群来自上海交通大学和加...
解读vid2vid-zero：Zero-shot 视频编辑
沉迷单车的追风少年
12-21 866
论文《Zero-Shot Video Editing Using Off-The-Shelf Image Diffusion Models》中首次提出了Zero-shot 视频编辑任务，开辟了一个新的领域。现在有越来越多的Zero-shot 视频编辑论文，乱花渐欲迷人眼，这篇博客先解读一下这篇开山论文。
【CVPR 2023】Diffusion Models高分辨率长视频生成 Align your Latents
沉迷单车的追风少年
10-23 1341
CVPR 2023年的工作《Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models》实现了高帧率高分辨率长视频生成，并在保持时间一致性上做了很多工作。这篇博客详细解读一下背后的原理，并总结一下值得借鉴的地方。
CVPR 2023 ，只需简单的几步，2D视频变3D？最新视频创作AI模型！
3D视觉工坊
09-10 1820
作者：PCIPG-Zhb | 来源：计算机视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf和代码。添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群。文中解决了从描述复杂动态场景的单目视频中合成新视图的问题。作者提出了一种新方法，该方法不是在 MLP 的权重内对整个动态场景进行编码，而是该方法通过采用基于体积图像的渲染框架，该框架通过以场景运动感知的方...
TPS Motion（CVPR2022）视频生成论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
07-24 3429
本文提出无监督TPS Motion取得SOTA， 1、提出thin-plate spline（TPS）运动估计，以生成更灵活光流，将源图特征迁移至目标图特征； 2、为了补全缺失区域，使用多分辨率遮挡mask进行有效特征融合。 3、额外辅助损失函数用于确保网络各模块分工，使得生成高质量图片；...
【CVPR2023】高保真自由可控的说话头视频生成
数据派THU
05-08 243
来源：专知 本文为论文介绍，建议阅读5分钟本文提出一种新的模型，可以产生高保真的头部视频，可以自由控制头部姿态和表情。说话头生成是根据给定的源身份和目标运动生成视频。然而，目前的方法面临着一些挑战，限制了生成视频的质量和可控性。首先，生成的人脸往往存在意想不到的变形和严重的失真。其次，驾驶图像没有明确地解缠运动相关信息，如姿态和表情，这限制了在生成过程中对不同属性的操作。第三，由于相邻帧之间提取的...
CVPR 2022 | 16万视频对、28万对片段，蚂蚁开源视频侵权检测超大数据集
idol24的博客
05-14 505
作者：蚂蚁集团该研究提出了目前最大规模（超过现有其他数据集 2 个数量级规模）的视频侵权定位数据集VCSL，并提出全新的视频片段拷贝检测的评价指标。相关研究入选CVPR 2022。传统的版权保护行业费时、费力、成本高，海量内容难以全量保护，内容分发难以掌控传播的安全问题。区块链技术具有不可篡改、追根溯源、分布式共识等特点，和数字版权保护具有天然契合之处，将区块链技术与 A...
CVPR2018 ——(GAN)延时摄影视频的生成
gzq0723的博客
05-19 3541

 
 
 
 
 
 
 CVPR2018即将开始，陆陆续续很多优秀的作品被大家知晓。今天我们来说说又去的科研成果，也希望阅读...
CVPR2024神经网络
06-15
CVPR（Computer Vision and Pattern Recognition）是计算机视觉领域的一年一度的重要国际会议，它汇聚了最新的研究和技术成果。CVPR2024尚未举行，因为CVPR通常在每年的6月份举行，最近一届是2023年的CVPR。对于未来的会议，我们可能会看到关于深度学习、卷积神经网络（CNN）、生成对抗网络（GAN）、注意力机制、自监督学习、迁移学习以及计算机视觉中的前沿技术，比如目标检测、图像分割、语义理解等领域的最新进展。 在CVPR这样的会议上，研究人员可能会提交论文探讨如何改进神经网络架构，例如设计更高效、更深度的残差网络（ResNet）、变分自编码器（VAE）、Transformer结构在图像处理中的应用，以及如何利用元学习或可微分编程进行模型优化。 如果你对某一年份的CVPR或者某个特定类型的神经网络模型感兴趣，比如深度强化学习在CV中的应用，或是新型的混合模型如MAML（Model-Agnostic Meta-Learning），请告诉我，我会提供更具体的信息。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值