LAM：使用局部归因图理解和可视化超分网络以及介绍一篇盲图像超分辨率重构文章

已于 2024-01-24 02:31:04 修改
阅读量2k 收藏 11
点赞数 7
文章标签： 重构 论文阅读 图像处理 人工智能
于 2024-01-24 02:30:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47071402/article/details/135804669
版权
本文探讨了如何通过LAM（LocalAttributionMaps）理解超分辨率网络的工作原理，关注感受野大小、多尺度特征以及注意力机制对性能的影响。研究者提出了一种结合预测概率梯度的归因方法，同时分析了基于自注意力的SwinTransformer在盲图像超分辨率中的应用及其效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

LAM：使用局部归因图理解和可视化超分网络

Interpreting Super-Resolution Networks with Local Attribution Maps (CVPR 2021)

School of Electrical and Information Engineering, The University of Sydney.
​
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences.

  • 是不是只要加大感受野就能获得更好的性能呢？更大的感受野，或者多尺度的特征是否对于 SR 模型有效？

  • 为什么 Attention 或者 Non-local 的操作可以帮助提升 SR 性能？

预测概率对输入I的梯度

采用预测概率对输入I的梯度作为归因图

使用积分梯度 (Integrated Gradients)来做归因

所谓归因，简单来说就是对于给定的输入图片I 和模型S ，我们想办法指出I 的哪些分量对模型的决策有重要影响，或者说对 I 的各个分量的重要性做个排序，用专业的话术来说那就是 "归因"。

  • 假设输入的是I，还有一个基线图像I'，模型是S，假设是SR模型，\alpha表示是一种插值参数，则I'+\alpha(I-I')表示了从基线图片I'到原始输入图片I的变化过程

  • 在LAM中，超分模型F再加上后面的检测器D就相当于了一个分类模型，输出 LR 图片的某个 patch 里面是否有特定的特征。就可以计算这个标量对于 LR 图片的积分梯度了，这也就是 LAM 的核心思想。

2、Degradation-Aware Self-Attention Based Transformer for Blind Image Super-Resolution（arxiv2023）

Immersive and Interactive Multimedia Lab， 
Nanjing University of Aeronautics and Astronautics, Nanjing

  • MOCO学习一个退化特征

  • 将这个退化特征用到了Swin transformer里面

  • 不同之处就是把D应用到了每一个RSTB模块里面

  • SwinIR

效果

  • 消融

  • 实验

  • 可视化

KKKc森同学
关注
【图像超分】论文精读：Activating More Pixels in Image Super-Resolution Transformer（HAT）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-09 263
基于transformer的方法在图像超分辨率等低级视觉任务中表现出了令人印象深刻的性能。然而，我们发现这些网络只能通过归因分析来利用有限的输入信息空间范围。这意味着 Transformer 的潜力在现有网络中仍未得到充分利用。为了激活更多的输入像素以获得更好的重建，我们提出了一种新的混合注意转换器(HAT)。它结合了通道注意力和基于窗口的自注意力方案，从而利用了它们能够利用全局统计和强大的局部拟合能力的互补优势。此外，为了更好地聚合跨窗口信息，我们引入了一个重叠的交叉注意模块来增强相邻窗口特征之间的交互。
【图像超分】论文精读：SMFANet: A Lightweight Self-Modulation Feature Aggregation Network for Efficient Image Su
最新发布
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-18 47
论文题目：（ECCV 2024 | SMFANet）SMFANet: A Lightweight Self-Modulation Feature Aggregation Network for Efficient Image Super-Resolution —— SMFANet：一种用于高效图像超分辨率的轻量级自调制特征聚合网络论文地址：[https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/06713.pdf)
使用局部归因图理解和可视化超分辨网络
02-17
CVPR2021-顾津锦，使用局部归因图理解和可视化超分辨网络
图像锐化的matlab代码-compare-gradient-attribution-maps:进行完整性检查以比较梯度归因图
05-27
图像锐化的matlab代码比较渐变归因图 该存储库提供了几种计算梯度归因图的方法，以调查图像的哪些部分对于深度神经网络做出的分类决策最重要。 该存储库还提供完整性检查，以评估梯度归因图。 概述 随着卷积神经网络（CNN）的普及，了解它们如何进行预测非常重要。 例如，网络使用输入数据的哪些部分来进行分类决策？ 显着性地图可以帮助您理解此问题。 显着图（也称为梯度归因图）标识网络用于进行预测的输入图像中的重要像素。 产生显着性图的一种方法是通过梯度归因。 梯度归因计算相对于图像中每个像素的输出分数的梯度，以提供强烈影响输出分类分数的像素图。 对梯度归因方法执行完整性检查也很重要，以确保地图提供有关网络的准确信息。 阿德巴约（Adebayo）等。 [1]已经表明，某些在视觉上吸引人的显着性图在逻辑上是不正确的。 该存储库提供的功能可帮助生成显着性图，还可以对梯度归因技术执行完整性检查。 用法 此存储库需要（R2020a及更高版本）和。 该存储库提供以下功能： gradientMap —使用三种不同的梯度归因技术（梯度说明，定向反向传播，Zeiler-Fergus）计算网络和图像的显着性图。
微软 LAM—— 解锁 Windows 智能操作新境界的大型行动模型
寻道AI，探索AI无限可能！
02-01 1133
在人工智能技术持续革新的浪潮中，微软推出的大型行动模型（LAM）宛如一颗璀璨的新星，照亮了智能操作与应用的新路径。传统人工智能模型多局限于语言处理或特定领域的简单任务，而 LAM 则突破性地实现了对 Windows 程序的自主操作，为用户带来前所未有的便捷与高效。本文将深入剖析 LAM 的项目架构、技术内核、功能优势、应用全景、快速上手方法，并在结语中探讨其未来发展趋势与影响，同时附上相关资料地址，助力读者全面洞悉这一前沿技术。
使用局部属性图对超分辨网络进行可解释性分析Interpreting Super-Resolution Networks with Local Attribution Maps
qq_45645718的博客
04-22 400
由于源代码不太好下载，在这里分享一下我测试好的版本。另外关于项目的讲解可以参考b站如图。
Interpreting Super-Resolution Networks with Local Attribution Maps
weixin_44994838的博客
05-10 811
I∈RdSRd→RAttrS​Rd→RdGradS​I∂I∂SI​I⊙∂I∂SI​(I−I′⋅∫01​∂I∂SI′αI−I′))​dαI′FRh×w→Rsh×sws(xy)l×lDxy​Rl×l→RDxy​I∑i∈xxlj∈yyl​∇ij​II′I′wσ⊗IDFI))γα01。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1257
参考 [小学生也能听得懂的大模型 Transformer 1]
JZOJ 3833. 平坦的折线(lam)【模型转化】【思维】
qq_35786326的博客
11-05 321
长得很像计算几何的...思维题？
大型动作模型 (LAM)：AI 驱动的交互的下一个前沿
知来者逆的博客
05-10 3340
现在人工智能中几个关键的领域，包括生成式人工智能（Generative AI）、大型动作模型（Large Action Models, LAM）、以及交互式人工智能（Interactive AI）。生成式人工智能是一种能够创建新内容（如图像、音乐、文本等）的AI技术。它通常依赖于大型语言模型（如GPT系列）或其他类型的生成模型，如生成对抗网络（GANs）
【AI视野·今日CV 计算机视觉论文速览 第151期】Tue, 6 Aug 2019
TomRen
08-09 2993
第151期 视觉论文速览 --稀疏卷积图像超分辨 --多焦段图像融合 --深度学习ISP数字图像信号处理 --注意力归一化
Python机器学习：数据科学，机器学习和人工智能的主要发展技术趋势概述
图像算法Imalg的博客
03-05 4573
1.介绍 Python因易于学习而广为人知，并且它仍然是数据科学，机器学习和科学计算中使用最广泛的语言。根据最近的一项民意的调查，该调查对1,800多名研究人员分析，数据科学和机器学习偏好的参与者进行了调查，Python在2019保持其依然使用最广泛的编程语言。 然而，Python编译器和解释器使用最广泛的实现CPython在单个线程中执行CPU绑定代码，并且其多处理程序包...
【AI视野·今日CV 计算机视觉论文速览 第163期】Fri, 11 Oct 2019
TomRen
10-18 1293
AI视野 第162期视觉论文速览 --全景分割网络Panoptic-deeplab --颜色深度提升网络Bit-Net
图像超分：真实感图像超分辨率的局部判别学习方法
不要给自己设限，尝试更多可能（思所向 皆可往）
04-21 1086
图像超分：真实感图像超分辨率的局部判别学习方法 《Details or Artifacts: A Locally Discriminative Learning Approach to Realistic Image Super-Resolution》 单图像超分辨率（SISR）问题，它旨在从低分辨率（LR）图像重建高分辨率（HR）图像。最近，由于其生成丰富细节的潜力，使用生成对抗网络（GAN）的SISR引起了越来越多的关注。然而，GAN的训练不稳定，它经常在生成的细节中引入许多感知上不愉快的伪影。
Unsupervised Degradation Representation Learning for Blind Super-Resolution（基于无监督退化表示学习的盲超分辨率处理）
长期更新自学笔记
04-23 2283
Abstract(摘要) 目前的SR方法大多是基于固定且已知的一种下采样方法，如双三次下采样，但是当真实图片的情况与假设的方法不同时，即真实的图片因为各种各样的不确定性因素，图像有多重降质（含有下采样、模糊、噪声等等）的情况，此时网络结构的性能与在理想情况下相比会产生很大的误差。因此，如何使网络结构能够处理多重降质的情况，是一个重要的研究方向。 本文提出的方法 提出了一种无监督退化表示学习方案，具体的说，我们学习抽象表示来区分表示空间的各种退化，而不是像素空间的显式估计； 引入了一个退化感知（Degrad
【CVPR2021】文章、代码和数据链接
qq_36717487的博客
04-16 2464
Awesome-CVPR2021-Low-Level-Vision 整理汇总下今年CVPR图像重建(Image Reconstruction)/底层视觉(Low-Level Vision)相关的论文和代码，括超分辨率，图像去雨，图像去雾，去模糊，去噪，图像恢复，图像增强，图像去摩尔纹，图像修复，图像质量评价，插帧，图像/视频压缩等任务。大家如果觉得有帮助，欢迎star~~ 参考或转载请注明出处 CVPR2021官网：http://cvpr2021.thecvf.com CVPR完整论文列表：https://
【图像超分辨率重建】——HAT论文精读笔记
Sunny_Coder的博客
12-28 8497
【图像超分辨率重建】——HAT论文精读笔记
微软新发布的 LAM 模型：从理解到动手，AI 的“操作小能手”来了！
qq_63315166的博客
01-04 1748
LAM 不仅能理解用户的自然语言请求，更能转化为实际操作，比如用 Word 写文档、在 Excel 画图表，甚至还可以控制机器人去搬个椅子！微软的 LAM 模型展示了 AI 应用的全新方向，但它也提出了新的挑战：如何保证 AI 动作的安全性和可靠性？这不是你老板的美好愿景，而是微软推出的全新 AI 模型——LAM（Large Action Model，大型动作模型）的能力之一。除了在软件层面操作，LAM 还能转化指令来控制机器人，完成物理世界的任务（比如把某个物品从 A 点搬到 B 点）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值