2024 CVPR AIGC集合

已于 2024-05-10 09:38:51 修改
阅读量635 收藏 9
点赞数 5
分类专栏： Deepfake Detection 文章标签： AIGC
于 2024-04-17 20:05:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37246721/article/details/137870413
版权
本文介绍了2024年CVPR会议上关于AIGC的先进技术，重点关注3D重建和talking-head生成。包括点基头部avatar、神经脸部渲染、细节精确的面部重建，以及保留身份的对话头像生成和多模态情绪驱动的高保真面部动画。这些研究展示了如何通过解纠缠、几何建模、预训练编码和数据增强等方法实现真实感的3D人脸合成。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

完全外行，不建议参考

一、3D重建

  1. PointAvatar: Deformable Point-based Head Avatars from Videos
    对原始颜色进行解纠缠，得到固有反射和相关阴影。
    基于可变形点云对表情、颜色、位置等信息进行建模。
    总结：可以看作是对局部像素的分解与扩展。
    在这里插入图片描述

  2. NeuFace: Realistic 3D Neural Face Rendering from Multi-view Images
    通过神经渲染技术获得底层的几何表示。
    基于几何、物理、光照进行建模。
    总结：对全局结构的关注和扩展。
    在这里插入图片描述

  3. A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images

二、talking-head

  1. Me
了解本专栏 订阅专栏 解锁全文 超级会员免费看
cvpr 汇总 cvpr集合
jacke121的专栏
03-31 472
cvpr 汇总 cvpr集合
51-62 Autonomous Grand Challenge at the CVPR 2024 Workshop | 自动驾驶挑战赛获奖作品
AIgraphX
07-08 1145
参赛选手分别在端到端、无图、占用网络等领域提交了自己的解决方案。
多模态人物视频驱动技术回顾与业务应用
最新发布
淘系技术
02-24 1068
一种新的商品表现形态，内容几乎存在于手淘用户动线全流程，例如信息流种草内容、搜索消费决策内容、详情页种草内容等。通过低成本、高时效的AIGC内容生成能力，能够从供给端缓解内容生产成本高的问题，通过源源不断的低成本供给倒推消费生态的建立。过去一年，我们通过在视频生成、图文联合生成、个性化文案、人设Agent等核心技术上的持续攻关，AIGC内容生成在手淘多个场景取得了规模化落地价值。本专题《淘宝的AI...
【数字人】7、GeneFace++ | 使用声音驱动的面部运动系数作为 condition 来指导 NeRF 重建说话头
呆呆的猫的博客
11-17 5751
本文主要介绍 GeneFace++
CVPR 2024 | 图像超分、图像恢复汇总！用AIGC扩散模型diffusion来解决图像low-level任务的思路...
idol24的博客
04-02 1万+
1、Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder超分辨率（SR）和图像生成是计算机视觉中重要的任务，在现实应用中得到广泛采用。然而，大多数现有方法仅在固定放大倍数下生成图像，并且容易出现过平滑和伪影。此外，在输出图像的多样性和不同尺度下...
CVPR 2023上AIGC大爆发！46篇论文、代码和数据集汇总
阿木寺的博客
06-20 1726
刚刚过去的几个月，无疑是生成式AI爆发的奇点。说到生成式AI，就不得不提到AIGC。AIGC全称为AI-Generated Content，指基于预训练大模型、生成式对抗网络（GAN）等人工智能技术，通过已有数据寻找规律，并通过释放泛化能力生成相关技术的内容。AIGC 在图像生成中的示例虽然在文生图领域，扩散模型似乎已经一统天下，但GAN 依然存在不可磨灭的优势。这使得一些研究者在这一方向上持续努...
CVPR 2024 | 图像检测类（目标、deepfake、异常）！AIGC扩散模型diffusion解决detection任务...
月流霜的专栏
06-29 1286
它包含三个关键创新：首先，提出强度可控扩散异常合成（SDAS），一种基于扩散过程的合成策略，能够生成具有不同异常强度的样本，模仿真实异常样本的分布。在 Waymo Open、nuScenes 和 Argoverse2 数据集上进行大量实验证明，SAFDNet 在前两个数据集上的性能略优于先前的 SOTA，但在具有长距离检测特点的最后一个数据集上表现更好，验证 SAFDNet 在需要长距离检测的场景中的有效性。然而，在类别增量物体检测（CIOD）中的应用受到很大限制，主要是由于涉及多个标签的场景的复杂性。
CVPR2024满分论文出炉！这些方向杀疯了！
我爱计算机视觉
05-20 557
随着人工智能界的持续进步，不断有研究者将新的模型和算法应用到计算机视觉领域。计算机视觉所处理的问题越来越丰富，目前主流的计算机视觉任务，主要包括三维重建、目标检测、图像分割、OCR、视频分析和图像生成等。如何更迅速地抓住CV领域热点，并将时下热门技术相结合呢？我复盘并整理了2024年最新热门方向，包含CV领域多个热点，从讲解原理技术到论文代码复现，顶会科研大牛带你深入探讨CV热点，原价699元，限...
15篇CV方向多模态融合优质paper汇总！
2401_82426425的博客
01-15 1522
实验表明，CDDFuse在红外-可见光图像融合、医学图像融合等任务上表现出色，并能提高语义分割和目标检测的性能。本文提出了跳跃交叉网络SkipcrossNets，一种灵活融合激光雷达点云与摄像机图像的架构，它通过层与层之间的前馈连接，实现了特征的增强传播和融合，有助于选择两个数据流中最匹配的特征层，并简化了网络复杂性。本文提供了时序数据的多模态自监督学习全面综述，包括：1）分类现有SSRL方法，2） 定义SSRL框架的关键组件，3）对比模型的目标函数、架构和应用，4）综述不同类别和模态的多模态技术。
51-60 CVPR 2024 最佳论文 | Generative Image Dynamics
AIgraphX
06-24 1900
将傅里叶域中密集、长期的运动建模为频谱体积，并通过渲染模块对从频谱体积转换的运动纹理生成动画，实现单个静止图像的动画。
AIGC-《Diffusion Illusions: Hiding Images in Plain Sight》cvpr2023 论文详细解读
hflexxx的博客！喜欢的话点个关注！
05-06 737
illusions，CVPR2023，论文＋代码详细解读
人脸编辑神器！浙大&腾讯提出FaceX：统一面部表征建立通用人脸编辑模型
阿木寺的博客
01-06 1592
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【人脸技术】微信交流群扫码加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文搞科研，强烈推荐！在CVer微信公众号后台回复：论文，即可下载论文pdf和代码链接！快学起来！项目主页：https://diffusion-facex.github.io论文链...
CVPR2023
热门推荐
weixin_62501745的博客
04-11 1万+
CVPR2023
[CVPR-23] PointAvatar: Deformable Point-based Head Avatars from Videos
qq_40731332的博客
12-20 1312
PointAvatar基于点云表征动态场景。目标是根据给定的一段单目相机视频，重建目标的数字人，并且数字人可驱动； 通过标定空间（canonical space）和形变空间（deformation space）表征场景。 其中，标定空间中的任意点坐标，首先映射至FLAME空间，通过对应FLAME的相关系数（表情、位姿和LBS）从FLAME空间映射至形变空间。 该点的颜色，被拆解为与姿态无关的反射率（albedo）和与姿态相关的阴影（shading）。其中前者根据点在标定空间中的坐标预测得到，后者根据点在形变
CVPR 2023 | 最全 AIGC 论文清单汇总版，30个方向130篇！
xuxu96
07-22 2435
CVPR 2023 | 最全 AIGC 论文清单汇总版，30个方向130篇！
diffusion扩散/GAN~3D
whaosoft143ai的博客
05-15 1039
提出一个通用的3D形状生成先验模型，专为多种3D任务量身定制，包括无条件形状生成、点云补全和跨模态形状生成等。一方面，为了精确捕捉局部细节形状信息，利用VQ-VAE来索引基于广泛任务训练数据的紧凑codebook中的局部几何。另一方面，引入离散扩散生成器以模拟不同token之间的固有结构依赖关系。同时，开发了一种多频融合模块（multi-frequency fusion module，MFM），以多频上下文信息为指导，抑制高频形状特征波动。让3D形状先验模型拥有高保真、多样化特征以及跨模态对齐能力，大量实验
[CVPR2022-oral]I M Avatar: Implicit Morphable Head Avatars from Videos
wrk226的博客
04-09 3313
简介 这篇文章做的是基于视频的迭代式3D人脸重建。文中结合了3DMM和隐式建模的思想，使得最终得到的3D人脸模型不仅非常真实，而且可以按照3DMM的方式进行编辑，最终生成的模型中可以看到完整的人头（包含口腔，牙齿，头发）。模型结构分为三个部分，每个部分都各用了一个占用场（occupancy field，和radiance field很像，文末会解释他们的区别），第一个部分用于将输入人脸变形到基准脸，第二个部分用于从基准脸中提取对应的几何信息，第三个部分用于提取对应的纹理信息。 模型结构 以下按照图
3D人脸重构论文汇总【PV3D\EG3D\AvatarGen\Face2FaceRHO\RODIN\DCFace\SadTalker\NeuFace\Next3D\SCULPT\HumanLiff等】
qq_53826699的博客
08-24 729
2022 ECCV 网易AI 基于单幅图片的实时高分辨率人脸重演算法Face2FaceRHO论文精读。
2024cvpr分割
01-05
### 关于2024年CVPR会议中的图像分割论文和主题 #### 图像分割技术的发展趋势 近年来，随着计算机视觉领域研究的不断深入，图像分割作为其中的关键技术之一也取得了显著进展。特别是在深度学习方法的支持下，许多新的算法和技术被提出并应用于实际场景中[^1]。 #### 2024 CVPR会议上关于图像分割的研究热点 在即将举行的2024年度IEEE国际计算机视觉与模式识别大会(CVPR)上，预计会有大量高质量的论文提交到图像分割这一重要方向。这些工作主要集中在以下几个方面： - **基于Transformer架构的新模型设计** 利用自注意力机制来改进特征提取过程，在保持计算效率的同时提高分割精度。 - **多模态数据融合** 结合来自不同传感器的数据源（如RGB-D相机），通过联合训练的方式增强对复杂环境的理解能力。 - **弱监督/半监督学习框架下的探索** 减少标注成本成为当前亟待解决的问题之一；因此如何利用少量标记样本指导网络收敛至更优解成为了研究重点。 - **实时处理性能优化** 针对于移动设备端应用需求日益增长的趋势，降低推理延迟以及减少内存占用量显得尤为重要。 ```python import torch from transformers import SegformerForSemanticSegmentation, SegformerFeatureExtractor model_name_or_path = "nvidia/mit-b0" feature_extractor = SegformerFeatureExtractor.from_pretrained(model_name_or_path) model = SegformerForSemanticSegmentation.from_pretrained(model_name_or_path) def preprocess_image(image): inputs = feature_extractor(images=image, return_tensors="pt") outputs = model(**inputs) logits = outputs.logits.cpu().detach().numpy() return logits.argmax(axis=1)[0] # Example usage with a PIL Image object named 'img' segmented_img = preprocess_image(img) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二苏旧局吖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值