MANIQA 无参 GAN 失真图像质量评估 CVPRW2022

最新推荐文章于 2025-01-08 14:15:36 发布
最新推荐文章于 2025-01-08 14:15:36 发布
阅读量2.4k 收藏 5
点赞数 4
分类专栏： 经典 / SOTA - 网络架构 文章标签： 深度学习 计算机视觉 transformer 图像处理 生成对抗网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/edvard_hua/article/details/131215613
版权

MANIQA: Multi-dimension Attention Network for No-Reference Image Quality Assessment

https://arxiv.org/abs/2204.08958

Pipal: a large-scale image quality assessment dataset for perceptual image restoration.

https://arxiv.org/pdf/2007.12142.pdf

是啥

这是一篇图像质量评估方向的一篇文章，该任务对数字图像的视觉质量进行客观或者主观的评分，其中根据是否有原图作为对比，可以将现存的方法粗略划分为有参考或无参考图像质量评估，本文属于无参考质量评估

在这里插入图片描述

这篇论文尝试解决现有方法不能够对 GAN-based (指超分，图像恢复相关模型) 生成的失真图像进行准确预测质量得分的需求，因此提出了 MANIQA 方法，实验表明该方法在四个数据集上都达到了 SOTA 的结果

方法&网络架构

Pipal 研究发现人眼对于虚假但逼真图片很难鉴别，并且人眼对于一些局部的错位不仔细看也很难感知到，但神经网络可以区分，同时他们发现算法进行区分时对于空间错位的瑕疵非常敏感。

因此 MANIQA 为了加强全局与局部间的交互，受到 Restormer 工作的启发，提出了 Transposed Attention Block (TAB) 和 Scale Swin Transformer Block(SSTB)。这两个模块分别在通道和空间维度上应用注意力机制，以这种多维的方式，模块之间可以协同增强全局和局部区域之间的交互，从而提升了算法的精度，整体网络架构如下图所示

在这里插入图片描述

图片输入网络后，首先会经过 ViT 模块，然后提取 ViT 第 {7, 8, 9, 10} 层的特征图，Concat 后得到 CxHW 作为输出，随后 TAB 就会对输出的通道进行加权从而让接下来的 SSTB 模块更好的提取局部信息，最后经过两个分支输出图片最终的加权分数。

Transposed Attention Block (TAB)

在这里插入图片描述

在常规的 Self-Attention (SA) 中，通过 key-query 点积操作，能够让图片中的 patchs 产生信息交互，从而提取到了空间维度的特征。但忽略了 CxHW 中 C 也就是通道这个维度所蕴含的信息，基于此，作者提出了 TAB。

结合上图所示的 TAB 模块，它的功能是将 SA 作用到通道（C）这个维度上， 通过 Reshape 将 K 变成了 HWxC 从而与 Q 做矩阵相乘，然后再经过 Softmax 就可以获得通道与通道之间的相关性（可以理解为协方差矩阵，尺寸大小为 CxC），最后再与 V 进行加权后输出。

这个模块有两个好处

  1. 整合 ViT 中四个不同尺寸的层特征图，并根据通道对质量分的相关性赋予通道不同权重
  2. TAB 生成的 Attention Map 编码了全局上下文的语义信息，为接下来需要提取的局部信息提供帮助

Scale Swin Transformer Block (SSTB)

在这里插入图片描述

SSTB 模块有 3 个子模块组成，分别是 STL，Conv，Scale，其中 STL 就是标准的 Swin Transformer Layer，Conv 是卷积，Scale 是一个缩放参数 𝛼 ，公式如下

在这里插入图片描述

同样，文中也给出了两个好处

  • 通过 STL 可以获得类似 Conv 在空间上尺度和平移不变性的特征
  • 缩放参数 𝛼 可以稳定训练过程，通常取值为 0.1~0.2之间

总得来说，STBB 是通过 STL 来提取全局和局部的特征，文中关于为啥加入缩放参数 𝛼 也没说，这个模块感觉有点敷衍

Patch-weighted Quality Prediction (两个分支)

在这里插入图片描述

最后就是这两个分支的模块，一个分支计算每个 Patch 的分数，一个分支计算每个 Patch 的权重，然后加权求和获得最后分数，文中说**他们相信（= =，we believe… 这样子写论文也可以的吗）**这样做可以防止过拟合，而且质量分由多个 Patch 综合得到也很合理

训练细节

dataset: PIPAL, LIVE, CSIQ, TID2013, KADID-10K

backbone**😗* ViT-B/8 with pretrained weight

TAB: 2 blocks

SSTB: 1 block, 768 embedding dimension → 384 embedding dimension

𝛼: 0.8

lr: 10e-5

lr_sche: cosine annealing

optimizer: adam

batch size: 8

input size: 224x224

loss: MSE

效果评估

在这里插入图片描述

在提到的数据集上都取得了 SOTA，但我觉得缺了消融实验，也就是说并没有对比 TAB 和 STBB 对模型精度的影响

GAN在图像补全中的应用
AI天才研究院
04-05 1469
GAN在图像补全中的应用 作者：禅与计算机程序设计艺术 1. 背景介绍 图像补全是一个重要的计算机视觉任务,它旨在根据图像的部分信息恢复缺失或损坏的部分。这在许多应用中都很有用,例如照片修复、视频编辑、医学成像等。传统的图像补全方法通常依赖于基于优化的技术,如基于填充的方法和基于修复
论文笔记（IQA）：Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment
God_68的博客
09-17 2708
@article{Bosse2017Deep, title={Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment}, author={Bosse, S. and Maniry, D. and Muller, K. R. and Wiegand, T. and Samek, W....
推荐开源项目：MANIQA —— 多维度注意力网络无参考图像质量评估
gitblog_00014的博客
05-27 793
推荐开源项目：MANIQA —— 多维度注意力网络无参考图像质量评估 去发现同类优质开源项目:https://gitcode.com/ 在数字图像处理领域，准确地评估图像质量是至关重要的一步。然而，无参考图像质量评估（NR-IQA）由于缺乏与原始图像的对比，一直是一个挑战。现在，我们向您推荐一个创新的开源项目——MANIQA，即多维度注意力网络用于无参考图像质量评估。这个项目由清华大学智能交互团队...
用Maniqa模型训练心脏超声图像
weixin_56548027的博客
01-08 763
该模型旨在根据人类的主观感知来评估图像的感知质量，特别是在处理基于生成对抗网络（GAN）生成的失真图像时，能够提供准确的质量评分。- 应用场景：MANIQA 广泛适用于图像处理、视觉检测和人工智能领域的诸多场景，如图像压缩、去噪或增强算法的效果评估，以及生成对抗网络（GANs）训练后的结果质量判断。左图是我的代码文件和配置文件，右图为我的数据集，类型都是二尖瓣水平短轴切面，由于maniqa是评分模型，所以还需要评分的分数作为标签。对图像进行预处理，删除相同图像、有问题图像。Maniqa模型架构如上图所示。
基于多任务生成对抗网络的无参考图像质量评价
XusOracle的博客
03-01 5571
基于多任务生成对抗网络的无参考图像质量评价 No-Reference Image Quality Assessment Based on Multi-Task Generative Adversarial Network 目录基于多任务生成对抗网络的无参考图像质量评价No-Reference Image Quality Assessment Based on Multi-Task Generati...
11、图像质量评价（IQA）
Man
08-05 602
图像质量评价-百度百科 图像质量评估综述 无参考图像质量评估 全参考图像质量评价方法整理与实用性探讨 视频/图像质量评价综述 Image Quality Assessment: A Survey Deep CNN-Based Blind Image Quality Predictor in Python Automatic Image Quality Assessment in Python https://github.com/ocampor/image-quality http://database.
论文阅读：Convolutional Neural Networks for No-Reference Image Quality Assessment
haiyanyanya的博客
04-26 1551
摘要： 以图像补丁作为输入，在空间域中工作，而不使用以前大多数方法所使用的手工特征。该网络由一个具有最大和最小池的卷积层、两个完全连接的层和一个输出节点组成。在网络结构中，特征学习和回归被集成到一个优化过程中，从而产生一个更有效的图像质量估计模型。 1.NR-IQA的CNN 给定灰度图像，我们首先执行对比度归一化，然后从中采样不重叠的补丁。使用CNN来估计每个补丁的质量分数，并对补丁分数进行平均，以获得图像的质量估计。 1.1网络结构 1.2局部归一化 假设位置（i，j）isI（i，j）
MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment
qq_34116958的博客
07-07 3381
摘要 DCNNs已经逐渐用于NR IQA，但是IQA的数据量非常小，因此大量已有的IQA算法是基于预训练的网络，但是这些预训练的网络并不是针对IQA任务设计的，因此这会导致泛化问题。针对这个问题，本文提出了基于元学习的NR IQA。其基本思想是学习人类在评估具有不同失真的图像质量时所共享的元知识，然后可以很容易地适应未知失真。具体来说，我们首先针对不同的失真收集了若干NR-IQA任务。然后采用元学习的方法来学习各种失真所共享的先验知识。最后，在目标NR-IQA任务上对质量先验模型进行微调，快速获得质量模型。
使用 GAN 校正水下图像中的颜色失真_python_代码_下载
06-17
水下视觉的颜色校正。该项目使用 CycleGAN 对“干净”的水下照片进行风格转换，使其看起来像是在水下 效果展示： ...
基于CycleGAN实现图像风格迁移
03-27
基于 CycleGAN 实现图像风格迁移 CycleGAN（循环一致性生成对抗网络）是一种深度学习算法，能够实现图像风格迁移，即将一张图片的整体风格或者局部风格进行迁移。例如，可以将一张用相机照相得到的风景照转化为...
基于GAN的压缩感知MRI图像重建Python实现：探索欠采样约束下的高质量图像重建
最新发布
04-07
主要探讨了如何通过欠采样数据重建高质量的MRI图像，并评估重建结果与完全无锯齿图像的相似度。文中涵盖了GAN的基本架构（生成器和判别器）、训练过程、损失函数设计（如对抗损失、数据一致性损失、频率损失等），...
基于GAN的MRI图像质量改善
01-17
总之，基于GAN的MRI图像质量改善是深度学习技术在医疗影像领域的成功应用，它利用强大的生成能力改进图像质量，为临床医生提供了更可靠的信息，有助于改善患者的诊疗体验。随着技术的不断发展，我们期待看到更多创新...
阅读笔记：MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment
haiyanyanya的博客
03-20 2183
首先，需要了解一下什么是元学习。元学习就是让物体学会学习。 元学习的输入是很多任务及其对应的训练数据，这些训练数据分为支持集和查询集，通过这些训练数据得到一个先验知识网络，通过Fine‐tuning该网络得到符合新的目标任务网络。 ...
【AI视野·今日CV 计算机视觉论文速览 第245期】Wed, 20 Apr 2022
TomRen
04-21 2905
AI视野·今日CS.CV 计算机视觉论文速览 Wed, 20 Apr 2022 Totally 80 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Unsupervised detection of ash dieback disease (Hymenoscyphus fraxineus) using diffusion-based hyperspectral image clustering Authors Sam L. Polk, .
渣画质的救赎：基于GAN的超分辨率方案
爱CV
05-13 3720
本次给大家介绍2篇文章——SRGAN[3]和ESRGAN[5]，基于生成对抗网络的超分辨率方案。 先回顾一下以往的方法： 1. 图像放大与基于CNN的超分方案 所有使用电脑的人都会用到图片放大的操作，而把图片放大超过其分辨率后，图片就会模糊。传统放大图片都是采用插值的方法，最常用的有最近邻插值（Nearest-neighbor）、双线性插值（Bilinear）、双立方插值（bicubic）等，这些方法的速度非常快，因此被广泛采用。 基于卷积神经网络/深度学习超分方案的开山之作叫做SRCNN(Supe
超分辨率(1)--基于GAN实现图像超分辨率重建
GodFishhh的博客
03-06 7007
基于GAN网络实现图像超分辨率重建流程详解
CVPR 2024 Snap提出DSL-FIQA：全新人脸质量评估演算法以及全新资料集
阿木寺的博客
06-20 1034
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！科研机构：Snap Research、台湾大学论文链接：https://openacce...
CVPR2020|华南理工,MSRA, 百度联合放大！ 让超分性能大幅度提升的对偶回归网络...
idol24的博客
03-30 874
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！文章来源：ImageAI@公众号每年三大视觉顶会CVPR、ICCV、ECCV都备受瞩目，今年的C...
基于空间特征调制的图像超分辨率
AcceptedLin的博客
01-24 2063
                 基于空间特征调制的图像超分辨率 论文：Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform作者：Xintao Wang, Ke Yu, Chao Dong, Chen Change Loy论文链接：arxiv.org/abs/1804.02...
无参考评估（No-Reference IQA）的代码该怎么写
03-16
<think>好的，我现在需要帮用户解答如何编写无参考图像质量评估（No-Reference IQA）的代码。首先，我得回忆一下用户之前的提问，他们之前问过图像质量评估是否需要与原图对比，现在转向具体的无参考评估的实现。这说明用户可能已经了解IQA的基本分类，现在想实际应用，特别是无参考的情况，因为他们可能没有原图可用。 接下来，我要确定用户的需求。用户可能是一位开发者或研究人员，想要在自己的项目中实现无参考IQA。他们可能需要具体的代码示例和步骤，所以应该提供实际的代码，并解释关键点。此外，用户可能对现有工具或库不太熟悉，因此需要推荐一些常用的库，比如TensorFlow、PyTorch，或者现有的IQA工具包。 然后，我需要考虑无参考IQA的常见方法。传统方法可能基于特征提取，比如自然场景统计（NSS）或者频域分析，而深度学习方法则使用预训练模型或构建自定义CNN。用户可能对这两种方法都感兴趣，或者更倾向于深度学习，因为现在主流的研究可能更关注基于模型的方法。 接着，我要组织回答的结构。应该先介绍无参考IQA的两种主要方法：传统算法和深度学习，然后分别给出代码示例。比如，传统方法可以使用BRISQUE算法，而深度学习方法可以展示如何加载预训练模型或构建简单CNN。同时，需要指出依赖的库，比如Python的piq库，或者如何使用OpenCV和scikit-image进行特征提取。 另外，用户可能需要知道如何评估和选择模型，所以需要提到数据准备、模型训练的关键点，比如使用LIVE数据集，损失函数的选择，以及数据增强的重要性。同时，注意事项部分要强调数据匹配、计算资源、指标选择等实际问题，帮助用户避免常见陷阱。 还要确保代码示例简洁有效，并附有解释，让用户明白每一步的作用。例如，在传统方法中使用piq库的BRISQUE实现，只需几行代码，而在深度学习方法中展示模型构建和预测流程。如果用户需要更定制化的解决方案，可能需要引导他们参考更复杂的模型或论文。 最后，总结一下，用户可能需要从简单实现入手，逐步深入，所以提供多个层次的代码示例和资源推荐会很有帮助。同时，提醒他们根据具体需求选择合适的方法，并考虑数据可用性和计算资源限制。</think>以下是**无参考图像质量评估（No-Reference IQA）**的代码实现思路与关键步骤，分传统算法与深度学习方法两类详解： --- ### 一、传统无参考IQA（基于特征工程） #### 示例：BRISQUE算法（自然场景统计特征） ```python import cv2 import numpy as np from skimage import img_as_float # 1. 特征提取：计算归一化像素值与局部对比度 def calculate_features(image): image = img_as_float(image) # 转为浮点型 mu = cv2.GaussianBlur(image, (7,7), 7/6) # 高斯模糊模拟人眼感知 mu_sq = mu * mu sigma = np.sqrt(np.abs(cv2.GaussianBlur(image*image, (7,7), 7/6) - mu_sq)) normalized = (image - mu) / (sigma + 1e-6) # 归一化处理 return normalized.flatten()[:36] # 取前36维关键特征 # 2. 加载预训练SVR模型（需提前训练或下载权重） from sklearn.externals import joblib model = joblib.load('brisque_svr_model.pkl') # 3. 预测图像质量得分（0-100，越低质量越好） image = cv2.imread('damaged_image.jpg', 0) # 读取灰度图 features = calculate_features(image) quality_score = model.predict([features])[0] print(f"BRISQUE质量得分：{quality_score:.2f}") ``` --- ### 二、深度学习无参考IQA（基于预训练模型） #### 示例1：使用现成库`piq`快速实现 ```python # 安装库：pip install piq import torch from piq import NIMA, CLIPIQA # 方法1：CLIP-IQA（无需原图，基于视觉-语言模型） model = CLIPIQA() image = torch.rand(1, 3, 256, 256) # 输入图像张量（BCHW格式） score = model(image) # 输出质量得分（0-1，越高越好） # 方法2：NIMA（美学质量评估） model = NIMA(pretrained=True) score = model(image) # 输出得分分布与均值 ``` #### 示例2：自定义CNN模型（PyTorch） ```python import torch.nn as nn class NR_IQA_CNN(nn.Module): def __init__(self): super().__init__() self.features = nn.Sequential( nn.Conv2d(3, 32, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size=3, padding=1), nn.ReLU(), nn.AdaptiveAvgPool2d(1) ) self.regressor = nn.Sequential( nn.Linear(64, 32), nn.ReLU(), nn.Linear(32, 1) # 输出质量得分 ) def forward(self, x): x = self.features(x) x = x.view(x.size(0), -1) return self.regressor(x) # 使用示例 model = NR_IQA_CNN() input_image = torch.rand(1, 3, 224, 224) # 假设输入为224x224 RGB图 predicted_score = model(input_image) ``` --- ### 三、关键实现步骤 1. **数据准备** - 使用标注数据集（如LIVE、TID2013、KonIQ-10K） - 数据增强：旋转、噪声、模糊等模拟质量退化 2. **模型训练（以自定义CNN为例）** ```python import torch.optim as optim from torch.utils.data import DataLoader # 定义损失函数与优化器 criterion = nn.MSELoss() # 回归任务用MSE损失 optimizer = optim.Adam(model.parameters(), lr=1e-4) # 训练循环 for epoch in range(100): for images, scores in DataLoader(dataset, batch_size=32): outputs = model(images) loss = criterion(outputs, scores) optimizer.zero_grad() loss.backward() optimizer.step() ``` --- ### 四、注意事项 1. **模型选择** - 轻量级需求：选BRISQUE或NIQE（仅需512B内存） - 高精度需求：选预训练深度学习模型（如HyperIQA、MANIQA） 2. **代码优化方向** - 多任务学习：同时预测模糊、噪声、压缩失真等具体问题 - 特征融合：结合频域（DCT/Wavelet）与空域特征 --- ### 五、推荐工具库 - 传统方法：`python-brisque`、`pyiqa` - 深度方法：`PIQ`、`Kornia` - 完整解决方案：`TensorFlow Model Garden`中的`IQA模块` 如需具体数据集或预训练模型，可参考论文代码库（如[HyperIQA](https://github.com/SSL92/hyperIQA)）或访问[Image Quality Assessment Toolkit](https://pypi.org/project/image-quality/)。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值