Towards Robust Blind Face Restoration with Codebook Lookup Transformer(NeurIPS 2022) | Codeformer

最新推荐文章于 2024-11-16 22:15:00 发布
最新推荐文章于 2024-11-16 22:15:00 发布
阅读量660 收藏 12
点赞数 3
分类专栏： AIGC 文章标签： transformer 深度学习 人工智能 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50089378/article/details/141906445
版权

Towards Robust Blind Face Restoration with Codebook Lookup Transformer(NeurIPS 2022)

这篇论文试图解决的是盲目面部恢复（blind face restoration）问题，这是一个高度不确定的任务，通常需要辅助指导来改善从低质量（LQ）输入到高质量（HQ）输出的映射，或者补充输入中丢失的高质量细节。具体来说，论文关注以下几个关键问题：

  • 如何在不知道具体退化过程的情况下（即盲目恢复），从严重退化的输入图像中恢复出高质量的面部图像。

  • 如何减少恢复映射的不确定性和模糊性，特别是在输入图像质量较低时。

  • 如何在保持高保真度的同时，生成具有丰富视觉细节的高质量面部图像。

为了解决这些问题，论文提出了一种基于Transformer的预测网络，名为CodeFormer，它利用在一个小的代理空间中学习的离散码本（codebook）先验，将盲目面部恢复任务转化为码预测任务。这种方法旨在通过全局建模低质量面部的组成和上下文，发现与目标面部紧密近似的自然面部，即使输入图像严重退化。此外，为了增强对不同退化类型的适应性，论文还提出了一个可控的特征转换模块，允许在保真度和质量之间进行灵活的权衡。

codeformer_2024-09-04_

本文的主要方法如下:

  1. 在高质量的数据集上训练一个VQVAE,得到一个具有清晰视觉细节的Decoder、CodeBook和Encoder
  2. 在低质量数据集上微调Encoder,并且在Encoder到CodeBook直接插入一个Transformer,用作LQ的Embdedding到HQ的Embedding的映射,因为空间是离散的,相当于一个分类预测任务了.注意transformer和Encoder是一起训练的.
  3. 一个CFT的short-cut来控制quality和fidelity之间的权衡.为什么这个CFT能控制,因为从encoder可通过short-cut传入的Embedding是能包含更多的信息,因此保真度(fidelity)更好,但是embedding的从LQ提取的,因此quality会变差.

上图给出了为什么使用VQVQE,因为VAE输出的Embedding是连续的,包含的潜空间太大,而VQVAE可以看作聚类,从LQ->HQ的映射,为了保证图像质量,我们希望这个映射空间较小,从而更可能生成高质量的图像.,更有利于模型学习.

codeformer_2024-09-04_

CodeFormer也可以用于图像编辑之类的.

  1. 做超分可以借鉴一下上述的pipeline
  2. 对于VQVAE、连续空间和离散空间的理解:连续空间包含更多信息,但是也会引入噪声;离散空间通过缩小映射空间从而过滤一下噪声.
【AI人工智能绘画 CV】Towards Robust Blind Face Restoration with Codebook Lookup Transformer
AI天才研究院
03-03 2万+
在本文中，我们证明了通过将盲人脸恢复作为代码预测任务，在一个小代理空间中学习的先验离散码本在很大程度上减少了恢复映射的不确定性和模糊性，同时为生成高质量的人脸提供了丰富的视觉原子。在这种范式下，我们提出了一个名为 CodeFormer 的基于 Transformer 的预测网络来模拟低质量人脸的全局组成和上下文以进行代码预测，即使输入是严重退化。为了增强对不同退化的适应性，我们还提出了一个可控的特征转换模块，允许在保真度和质量之间进行灵活的权衡。对合成和真实世界数据集的广泛实验结果验证了我们方法的有效性。
【深度学习】脸部修复，CodeFormer，论文，实战
q742971636的博客
11-22 2425
Blind face restoration是一个高度 ill-posed 的问题，通常需要辅助引导来 1) 改善从降级输入到期望输出的映射，或者 2) 补充在输入中丢失的高质量细节。在本文中，我们展示了在一个小的代理空间中学到的离散码本先验可以通过将盲目的面部恢复建模为 a code prediction task来大大减少恢复映射的不确定性和模糊性，同时为生成高质量面部提供丰富的视觉元素。
CodeFormer——Towards Robust Blind Face Restoration with Codebook Lookup Transformer
David___yu的博客
05-11 1422
盲脸恢复是一个高度病态的问题，通常需要辅助引导来1）改善从退化输入到期望输出的映射；2) 补充输入中丢失的高质量细节 在本文中，作者证明了在小代理空间中学习离散码本先验，通过将盲人脸恢复作为潜码预测任务，极大地减少了恢复映射的不确定性和模糊性，同时为生成高质量的人脸提供了丰富的视觉原子。在这种模式下，作者提出了一个基于transformer的预测网络，名为CodeFormer，用于对低质量人脸的全局组成和上下文进行建模，以进行潜码预测，即使在输入严重退化的情况下，也能发现与目标人脸非常接近的自然人脸。
Towards Robust Blind Face Restoration with Codebook Lookup Transformer
EmoC的博客
01-18 1110
这个projec相对codeformer已经是老一些的了，CodeFormer paper说自己的效果比这个更好。有看了这个视频，它借用了R-ESRGAN 4x 和 GFPGAN 50%，既保留了一些人物特征，又有了更好的效果。
codeformer:towards robust blind face restoration with codebook lookup transformer
liguandong
08-28 1766
刚好上班又到了我分享论文的时候，顺便分享给大家，有啥想法可以留言交流hhh，这个字幕机翻的有点蠢，大家将就看一下，下次不弄字幕了。vqgan和vqvae是一致的，通过编码器得到特征之后，通过最近邻匹配，训练解码器，这个流程训练好之后，丢掉编码器，只要解码器，但是做无监督生成的话，你就需要有一个对应的index表，这样才能从codebook中找出对应的embedding去得到解码器的输入，那么这个index表是通过gpt2生成的，是自回归预测出来的，有个index表就可以得到输入。
CVPR2021:Towards Real-World Blind Face Restoration with Generative Facial Prior
weixin_45703452的博客
08-18 2010
单位：腾讯PCG 论文 代码 Xintao Wang大佬（ESRGAN、EDVR作者）的力作，这篇论文和他们另一篇CVPR2021论文《GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution》想法相近，但是做的是两个不同的恢复任务。 摘要 人脸盲恢复通常依赖于人脸先验信息，如人脸几何先验信息或参考先验信息来恢复真实可信的细节。然而，极低质量的输入无法提供精确的几何先验，而高质量的参考通常难以得到，从而限制了在现实场景中的
CV-2022：CodeFormer【最强的AI 视频、图片修复】【南洋理工大学 S-Lab】
u013250861的博客
01-16 5045
本文提出了一种基于Transformer+VQGAN的人脸重建方案CodeFormer，它可以对低质人脸的组成与上下文信息进行建模，促进自然人脸挖掘以生成与目标人脸更相近的结果。受益于码本先验与全局建模能力，CodeFormer取得了SOTA人脸复原能力。论文：《Towards Robust Blind Face Restoration with Codebook Lookup Transformer》
基于Codebook Lookup Transformer的盲人脸恢复技术
最新发布
博客之路,前途漫漫
11-16 799
人脸恢复技术在当今数字化时代的重要性不言而喻。无论是在视频监控、照片修复还是身份识别等领域，人脸图像的质量都至关重要。高质量的人脸图像不仅能够提供更精确的身份信息，还能提高识别系统的准确性和可靠性。在社交媒体和娱乐行业，清晰的人脸图像对于照片和视频的美观度也至关重要。特别是在图像和视频的存档和修复中，如何有效地恢复受损的历史照片和老旧视频，保留其文化和历史价值，是一个重要的应用场景。然而，现实生活中的人脸图像往往受到多种因素的影响，例如低分辨率、噪声、模糊等，从而导致图像质量下降，影响后续应用。
数字人VideoRetalking项目总结｜文本（语音）驱动的音唇同步问题
BeGeek的博客
12-10 4024
数字人项目
CVPR2017论文摘要汇总
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
Blind Face Restoration（盲人脸恢复）based on diffusion model 调研
hjhr2018的博客
06-06 1165
为了匹配该分辨率，设计了一个编码网络F，包含几个卷积层，用于去除低质量图像的浅层退化并将其编码为64×64的清晰图像。（1）进一步探索了预训练的stable diffusion在盲人脸修复领域的生成能力，与GAN先验相比，stable diffusion可以提供更丰富、更多样化的先验知识，从而生成更真实逼真的面部细节。（3）提供了一个合成的人脸数据集，称为 Privacy-preserving-Faces-HQ (PFHQ)，该数据集包括60K配对的面部图像，具有平衡的种族、性别和年龄，用于训练恢复网络。
旧照片修复-模糊图片变清晰-2023年度最强神器 codeformer
delacroix_xu的专栏
04-27 7566
使用time命令，看看执行总共耗时多少。32核CPU，耗时55秒。如果是单核心cpu，则大概耗时8min多。pip3 install ffmpeg-python ，这样就有了。处理的很慢，最后给kill掉了。不过过程来看，相对顺利。提醒缺少ffmpeg， import ffmpeg失败。但是会遇到报错，没有cython， 那就手工安装一下。按照官方教程，安装requirements.txt。项目有个目录，专门用于测试的。4、低码率视频增强，增加细节。不得不说，效果是真的牛批！测试一个视频增强功能。
超分论文走读
u011489887的专栏
05-29 320
codeFormer 原始动机 高度不确定性，模糊到高清，存在一对多的映射 纹理细节丢失 人脸身份信息丢失 模型实现 训练VQGAN 从而得到HQ码本空间作为本文的离散人脸先验。为了降低LQ-HQ映射之间的不确定性，我们设计尽量小的码本空间和尽量短的Code序列作为人脸的离散表达。因此，我们采用了大的压缩比 (32倍)，即将原来的人脸图片压缩为的离散Code序列。该设计使得码本中Code具有更丰富的上下文信息，有助于提升网络表达能力以及鲁棒性。 嵌入Transformer模块，对特征全局建模，以达成
codeformer_pytorch 人脸修复&图形超分算法模型
qq_27815483的博客
07-06 1355
codeformer可用于人脸修复
最强的AI视频去码&图片修复模型：CodeFormer
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
09-07 1万+
CodeFormer是由南洋理工大学-商汤科技联合研究中心S-Lab在NeurIPS 2022上提出的一种基于VQGAN+Transformer的人脸复原模型。该方法基于预训练VQGAN离散码本空间，改变复原任务的固有范式，将人脸复原任务转成Code序列的预测任务，大幅度降低了复原任务映射的不确定性，同时VQGAN的码本先验也为复原任务提供了丰富的人脸细节。最后，通过Transformer全局建模，进一步增加了模型对严重退化的鲁棒性，使得复原的人脸更加真实。老照片修复与增强面部修复。
codeformer 论文笔记
weixin_40467931的博客
09-15 527
直接老套路, 直接第三章开始. 3. 方法论: 　　主要方法是用一个离散的表示空间来弱化图像重造的不稳定性,不确定性. 并且能补充高清细节. 3.1 codebook 学习 (第一部分) 　　在Fig2(a)中, HQ : 表示high quality LQ 表示low quatlity 　　I_h表示一个图片, 通过一个编码器E_H编码为Z_h∈R^{m*n*d} 　　我们把Z_h中每一个...
【论文阅读】超分辨率——Towards Real-World Blind Face Restoration with Generative Facial Prior
qq_38846606的博客
04-12 3955
Towards Real-World Blind Face Restoration with Generative Facial PriorIntroduction 论文链接: Arxiv 团队：腾讯ARC 会议及时间：CVPR 2021 代码：暂未发布 Introduction 参考文献 https://zhuanlan.zhihu.com/p/344602972 https://finance.sina.com.cn/tech/2021-04-05/doc-ikmyaawa6744662.shtml
【CVPR2021】文章、代码和数据链接
qq_36717487的博客
04-16 2431
Awesome-CVPR2021-Low-Level-Vision 整理汇总下今年CVPR图像重建(Image Reconstruction)/底层视觉(Low-Level Vision)相关的论文和代码，括超分辨率，图像去雨，图像去雾，去模糊，去噪，图像恢复，图像增强，图像去摩尔纹，图像修复，图像质量评价，插帧，图像/视频压缩等任务。大家如果觉得有帮助，欢迎star~~ 参考或转载请注明出处 CVPR2021官网：http://cvpr2021.thecvf.com CVPR完整论文列表：https://
faster r-cnn: towards real-time object detection with region proposal networks
06-28
### 回答1： Faster R-CNN是一种基于区域建议网络（Region Proposal Networks，RPN）的物体检测算法，旨在实现实时物体检测。它通过预测每个区域是否含有物体来生成候选框，并使用卷积神经网络（CNN）来确定候选框中的物体类别。Faster R-CNN在提高检测精度的同时，也显著提高了检测速度。 ### 回答2： 在计算机视觉领域中，目标检测一直是热门研究的方向之一。近年来，基于深度学习的目标检测方法已经取得了显著的进展，并且在许多实际应用中得到了广泛的应用。其中，Faster R-CNN 是一种基于区域建议网络（Region Proposal Networks，RPN）的目标检测方法，在检测准确率和速度之间取得了很好的平衡，能够实现实时目标检测。 Faster R-CNN 的基本框架由两个模块组成：区域建议网络（RPN）和检测模块。RPN 主要负责生成候选目标框，而检测模块则利用这些候选框完成目标检测任务。具体来说，RPN 首先在原始图像上以多个尺度的滑动窗口为基础，使用卷积网络获取特征图。然后，在特征图上应用一个小型网络来预测每个位置是否存在目标，以及每个位置的目标边界框的坐标偏移量。最终，RPN 根据预测得分和位置偏移量来选择一部分具有潜在对象的区域，然后将这些区域作为候选框送入检测模块。 检测模块的主要任务是使用候选框来检测图像中的目标类别和位置。具体来说，该模块首先通过将每个候选框映射回原始图像并使用 RoI Pooling 算法来获取固定大小的特征向量。然后，使用全连接神经网络对这些特征向量进行分类和回归，以获得每个框的目标类别和精确位置。 相比于传统的目标检测方法，Faster R-CNN 具有以下优点：首先，通过使用 RPN 可以自动生成候选框，避免了手动设计和选择的过程；其次，通过共享卷积网络可以大大减少计算量，提高效率；最后，Faster R-CNN 在准确率和速度之间取得了很好的平衡，可以实现实时目标检测。 总之，Faster R-CNN 是一种高效、准确的目标检测方法，是深度学习在计算机视觉领域中的重要应用之一。在未来，随着计算机视觉技术的进一步发展，Faster R-CNN 这类基于深度学习的目标检测方法将会得到更广泛的应用。 ### 回答3： Faster R-CNN是一种结合了深度学习和传统目标检测算法的新型目标检测方法，旨在提高目标检测速度和准确率。Faster R-CNN采用了Region Proposal Network（RPN）来生成候选区域，并通过R-CNN网络对候选区域进行分类和定位。 RPN是一种全卷积神经网络，用于在图像中生成潜在的候选区域。RPN通常在卷积特征图上滑动，对每个位置预测k个候选区域和其对应的置信度得分。这样，对于输入图像，在不同大小和宽高比的Anchor上预测候选框，可以在计算上更有效率。 R-CNN网络利用卷积特征图作为输入，对RPN生成的候选区域进行分类和精确定位。与以前的目标检测方法相比，Faster R-CNN使用了共享卷积特征，使得整个检测网络可以端到端地进行训练和优化，缩短了训练时间，同时也更便于理解和改进。 Faster R-CNN不仅具有较高的准确性，还具有较快的检测速度。在各种基准测试中，Faster R-CNN与其他目标检测算法相比，都取得了优异的性能表现。总之，Faster R-CNN将目标检测引入了一个新的阶段，为实时目标检测提供了一个良好的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东风中的蒟蒻

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值