【荐读IEEE TPAMI】领域内GAN反演：用于精确重建和可编辑性

最新推荐文章于 2024-05-29 20:11:09 发布
最新推荐文章于 2024-05-29 20:11:09 发布
阅读量1k 收藏 23
点赞数 18
分类专栏： 论文解读 IEEE TPAMI 文章标签： 生成对抗网络 人工智能 深度学习 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/138797111
版权
论文解读 IEEE TPAMI 专栏收录该内容
214 篇文章 14 订阅 ¥29.90 ¥99.00
订阅专栏
研究提出了一种领域内GAN反演方法，旨在实现真实图像的精确重建和编辑。通过训练领域引导的编码器和应用领域正则化优化，保证了反演代码在预训练GAN模型的语义领域内，从而支持有效的图像编辑。实验表明，这种方法在重建质量和编辑属性之间达到了平衡，同时提供了更快的反演速度和更好的编辑效果。
摘要由CSDN通过智能技术生成

题目：In-Domain GAN Inversion for Faithful Reconstruction and Editability

领域内GAN反演：用于精确重建和可编辑性

作者：Jiapeng Zhu, Yujun Shen, Yinghao Xu, Deli Zhao, Qifeng Chen, and Bolei Zhou,

摘要

生成对抗网络（GANs）通过将随机采样的潜在代码映射到高保真合成图像，显著推进了图像合成技术。然而，将训练良好的GAN应用于真实图像编辑仍然具有挑战性。一个常见的解决方案是找到一个近似的潜在代码，能够充分恢复输入图像以进行编辑，这也被称为GAN反演。为了反演GAN模型，先前的工作通常专注于在像素级重建目标图像，但很少有研究涉及反演结果是否能够很好地支持语义级别的操作。本工作通过提出领域引导的GAN反演来填补这一空白，该方法包括一个领域引导的编码器和一个领域正则化优化器，以在预训练的GAN模型

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
专栏目录
订阅专栏
【荐读 IEEE TPAMI】Bi-DexHands: 迈向人类水平的双手灵巧操控
小白学视觉
05-21 787
实现机器人在灵巧操控方面的人类水平仍然是一个关键的开放问题。即使是简单的灵巧操控任务，由于自由度的高数量和异构代理（例如，手指关节）之间合作的需求，也带来了显著的困难。尽管一些研究人员已经利用强化学习（RL）来控制单手操控物体，但需要双手协调合作的任务仍然未被充分探索，因为适合的环境较少，这可能导致困难和次优性能。为了应对这些挑战，我们介绍了Bi-DexHands，这是一个具有两只灵巧手的模拟器，包含20个双手操控任务和数千个目标对象，旨在基于认知科学研究匹配不同水平的人类运动技能。
ReStyle 水记（GAN反演，基于迭代细化的编码器）
无
09-16 1237
ReStyle 水记（GAN反演，基于迭代细化的编码器）
学习笔记：High-Fidelity GAN Inversion for Image Attribute Editing 用于图像属性编辑的高保真生成对抗网络反演
Qi__Xi的博客
10-05 2720
本文提出了一种新的高保真生成对抗网络（GAN）反演框架，该框架能够在保持良好的图像特定细节的情况下进行属性编辑。为了在不影响可编辑性的前提下提高图像的保真度，我们提出了一种失真协商方法，该方法采用失真图作为高保真重建的参考。在失真协商反演（DCI）中，首先将失真图投影成一个高比率潜图上，然后通过协商融合为基本的低比率潜码补充更多的细节。为了实现高保真的编辑，我们提出了一个自适应失真对齐（ADA）模块，该模块带具有自监督训练方案，弥补了编辑图像和反演图像之间的差距。实验表明，反演和编辑质量都有明显提高。
（2022，latent spcae）GAN逆映射：综述
qq_44681809的博客
03-21 6333
GAN 逆映射把给定图像映射到预训练 GAN 模型的 latent space，以便生成器可以从 latent code 重建图像。作为一种连接真假图像域的新兴技术，GAN Inversion 使用预训练 GAN 模型进行真实图像编辑。此外，GAN Inversion 解释了 GAN 的 latent space 以及如何生成逼真的图像。在本文中，我们综述了 GAN Inversion，重点介绍了其代表性算法及其在图像恢复和图像处理中的应用。我们进一步讨论了未来研究的趋势和挑战。
CVPR2023新作：基于面部对称性先验的三维生成对抗网络反演方法
dlhlSC的博客
07-23 593
为了提高未观察到的视角的纹理保真度，可以从深度引导的3D变形中获得伪标签，本文还设计了用于过滤不对称情况下优化的冲突区域的约束。然而，在实际应用过程中，伪辅助视图中可能存在冲突内容，为了避免这种情况，我们采用特定的加权策略，通过计算不同视角的高斯函数来适应权重的变化。第一阶段，引入面部对称性先验，使用镜像图像获取的伪辅助视图，设计了一个优化框架，获得粗略的几何形状。(4): 本文提出的方法在3D人脸重建方面取得了良好的性能，可以获得一致的视角和良好结构的几何形状，并在未观察到的视角中实现了高保真度的纹理。
GAN反演+老照片修复
qq_42563807的博客
04-17 1274
一个自然的想法是在GAN的图像空间寻找一张灰度化后与目标图片一致的图片，由于GAN倾向于输出自然的图片，因此找到的这张图会有自然的颜色。即，如果我们要复原图像A，则可以训练GAN网络，使其生成一个跟图像A的GroundTruth相似度很高很高的图像，该生成图像即为我们修复后的图像；用GAN模型近似表征自然图像分布，在恢复图像时，对于失真图，要恢复它，其实就是要在GAN表征的自然图分布中找到一个跟失真图最相似的图。提出了GFP-GAN，利用丰富多样的先验，将其封装在一个预训练的人脸中，用于模糊人脸修复。
【荐读IEEE TPAMI】t-EER：无参数串联评估对策和生物特征比较器
最新发布
小白学视觉
05-29 67
作者：Tomi H. Kinnunen , Kong Aik Lee , Senior Member, IEEE, Hemlata Tak , Nicholas Evans , Member, IEEE, and Andreas Nautsch呈现攻击（欺骗）检测（PAD）通常与生物特征验证一起使用，以提高面对欺骗攻击时的可靠性。尽管这两个子系统共同解决可靠的生物特征验证这一单一任务，但它们处理的是不同的检测任务，因此通常单独评估。证据表明，这种方法是次优的。我们引入了一种新的度量标准，用于联合评估与生物特
【荐读IEEE TPAMI】无监督去雨：非对称对比学习与自相似性相遇
小白学视觉
05-13 809
大多数现有的基于学习的去雨方法都是在合成的雨-清洁对上进行有监督训练的。合成雨与真实雨之间的领域差距使它们在复杂的真实雨场景中的泛化能力降低。此外，现有方法主要独立利用图像或雨层的属性，很少有方法考虑它们之间的相互排斥关系。为了解决这一困境，我们探索了每层内部的内在自相似性以及两层之间的相互排斥性，并提出了一种无监督的非局部对比学习（NLCL）去雨方法。非局部自相似性图像块作为正样本被紧密地拉在一起，而雨块作为负样本则被显著地推开，反之亦然。
【荐读IEEE TPAMI】神经重建：从单目视频中实时连贯的3D场景重建
小白学视觉
05-13 954
我们提出了一个名为 NeuralRecon 的新框架，用于从单目视频中实时重建三维场景。与先前的方法不同，先前的方法在每个关键帧上分别估计单视图深度图，然后将其融合，我们提出直接通过神经网络顺序地重建每个视频片段的局部表面，表示为稀疏的 TSDF 体积。使用基于门控循环单元（Gated Recurrent Units, GRU）的学习型 TSDF 融合模块来指导网络从先前的片段中融合特征。这种设计允许网络在顺序重建表面时捕获局部平滑先验和全局形状先验，从而实现准确、连贯和实时的表面重建。
【认知计算】Deepfake/Anti-deepfake综述探究
兴趣使然的创作者
04-18 5482
Deepfake
GAN论文阅读笔记（7）— Pivotal Tuning for Latent-based Editing of Real Images
weixin_48981284的博客
03-04 668
Pivotal Tuning for Latent-based Editing of Real Images
CVPR2021-Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation风格编码:用于图像到图像转换
ssshyeong的博客
04-18 1547
一个通用的图像到图像的转换框架pixel2style2pixel (pSp)。我们的pSp框架是基于一种新的编码器网络，它直接生成一系列的风格向量，这些向量被送入一个预先训练的StyleGAN生成器，形成扩展的W+潜在空间。利用我们的编码器直接解决图像到图像的翻译任务，将其定义为从某个输入域到潜在域的编码问题。通过偏离以前StyleGAN编码器使用的标准“先反转，后编辑”方法，我们的方法可以处理各种任务，即使输入图像没有在StyleGAN域中表示。
CVPR 2022｜处理速度仅用0.2秒！港科大&腾讯AI Lab开源基于GAN反演的高保真图像编辑算法...
迈微AI研习社 · 号主
07-06 634
点击上方“迈微AI研习社”，选择“星标★”公众号重磅干货，第一时间送达转载自：极市平台 作者丨Tengfei Wang后台回复“加群”进入—>CV微信技术交流群迈微导读本文介绍了一篇来自港科大和腾讯 AI Lab已被CVPR 2022收录的工作。工作提出了一种新颖的高保真GAN反演框架，该框架能够在保留图像特定细节（例如背景、外观和照明）的情况下进行属性编...
FENeRF: Face Editing in Neural Radiance Fields
dn_us的博客
12-15 565
我们提出了一个三维感知生成器FENeRF，它可以生成视图一致的局部可编辑的人像图像。 我们的方法使用两个解耦的潜在代码在空间对齐的具有共享几何的三维体中生成相应的面部语义和纹理。 FENeRF利用这种底层的三维表示方法，可以联合绘制边界对齐图像和语义掩码，并利用语义掩码通过GAN反演对三维体进行编辑。
（点云补全任务）GAN逆映射：Unsupervised 3D Shape Completion through GAN Inversion
qq_41178930的博客
07-13 3432
（点云补全任务）GAN逆映射：Unsupervised 3D Shape Completion through GAN Inversion简介论文abstract1. introduction2. related works3. method概述3.1 Enhancing Point Cloud Uniformity3.2 Degradation in the 3D Space3.3 Loss Function for Inversion4. Experiments概述4.1 消融研实验4.2 虚拟扫描基准
基于多码GAN先验的图像处理
RrS_G的博客
07-15 796
生成高质量图像的能力使GANs适用于许多图像处理任务，如语义人脸编辑，超分辨率，图像到图像的翻译等。另一方面，大型GAN模型，如StyleGAN和BigGAN，在经过训练后，可以生成逼真的图像，但目前的研究还没有把这些训练好的模型做为先验信息应用于真实图像处理。实现这一目标的主要挑战是，GAN的生成器通常将潜在空间Z映射到图像空间(即输入是噪声，输出图像)，并不是用真实图像作为输入，这导致训练好的模型无法很好地进行后续图像处理。这里不同的任务的损失稍有不同，但大体上是类似的。，都可以提取相应的空间特征。..
GAN & GAN Inversion
ReaFly的博客
04-07 2536
1. 《A Style-Based Generator Architecture for Generative Adversarial Networks》 2. 《Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation》 通过PSP结构获取stylelGAN的初始图像编码 3. 《Towards Real-World Blind Face Restoration with Generative Facial Prior》
IEEE TPAMI 用于缺陷检测的期刊
04-05
IEEE TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）是一个涵盖模式识别、计算机视觉、图像处理和机器学习等领域的高质量期刊，其中也包括用于缺陷检测的研究。 以下是一些在IEEE TPAMI...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值