TPAMI 2024 | 图像去雨Transformer

最新推荐文章于 2025-05-19 22:24:13 发布
最新推荐文章于 2025-05-19 22:24:13 发布
阅读量383 收藏 1
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： TPAMI 深度学习 顶刊论文 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/140569187
版权

题目：Image De-Raining Transformer

图像去雨Transformer

作者：Jie Xiao; Xueyang Fu; Aiping Liu; Feng Wu; Zheng-Jun Zha

摘要

现有的基于深度学习的去雨方法依赖于卷积架构。然而，卷积的固有局限性，包括局部感受野和输入内容的独立性，限制了模型捕捉长距离和复杂雨迹的能力。为了克服这些限制，我们提出了一种有效且高效的基于变换器的图像去雨架构。首先，我们将视觉任务的一般先验知识，即局部性和层次性，引入网络架构，使我们的模型在无需昂贵的预训练的情况下就能实现出色的去雨性能。其次，由于雨迹的几何外观复杂且在空间上变化显著，去雨模型提取局部和非局部特征是至关重要的。因此，我们设计了互补的基于窗口的变换器和空间变换器，以增强局部性并捕捉长距离依赖性。此外，为了弥补自注意力的位置盲点，我们建立了一个单独的代表性空间来建模位置关系，并设计了一种新的相对位置增强的多头自注意力。这样，我们的模型就具有了从内容和位置捕获依赖关系的强有力能力，从而在去除雨迹的同时实现更好的图像内容恢复。实验证实，我们的方法在定量和定性上都获得了比现有方法更具

了解本专栏 订阅专栏 解锁全文
TPAMI 2024 | 基于小波近似感知残差网络的单图像去雨
小白学视觉
09-09 727
在基于深度卷积神经网络（CNNs）的单图像去雨方面已经取得了巨大进展。大多数现有的深度去雨方法中，CNNs 旨在学习从雨图像到干净无雨图像的直接映射，并且它们的架构变得越来越复杂。然而，由于雨水与物体边缘和背景混合的限制，很难分离雨水和物体/背景，图像的边缘细节在重建过程中无法有效恢复。为了解决这个问题，我们提出了一种新颖的小波近似感知残差网络（WAAR），在该网络中，雨水在每个级别的低频结构和高频细节中都被有效去除，特别是在每个级别的低频子图像中。
TPAMI 2024 | 跨图像像素对比的语义分割方法
小白学视觉
09-04 962
本文研究了图像语义分割问题。现有方法主要关注于挖掘“局部”上下文，即通过特别设计上下文聚合模块（例如，扩张卷积、神经注意力）或结构感知优化目标（例如，IoU损失）在单个图像内部像素之间的依赖关系。然而，它们忽略了训练数据的“全局”上下文，即不同图像中像素之间丰富的语义关系。受到无监督对比表示学习最新进展的启发，我们提出了一种像素级对比算法，称为PiCo，用于完全监督学习环境中的语义分割。核心思想是强制同一语义类别的像素嵌入比不同类别的嵌入更相似。
CVPR 2022 Image Dehazing Transformer with Transmission-Aware 3D Position Embedding 个人学习笔记
zhouaho2010的博客
09-24 4479
在下面的内容中，我们将详细介绍这些模块。更详细的网络结构和参数可以在补充材料中找到。 3.2. Network StructureTransformer模块。为了实现全局环境来处理空间变化的雾霾，我们采用了一种具有很强的建模远程依赖能力的变压器。具体来说，我们采用Swin Transformer[21]作为骨干backbone，基于其有效性和效率之间的良好权衡，提取分层变压器特征。其他的变压器骨干也可以在我们的框架中使用。虽然更大的图像补丁可以提高Swin Transformer[21]的计算效率，但它会在
去雨算法：Image De-raining Using a Conditional Generative Adversarial Network
mmdbhs的博客
12-27 2735
0 基本信息 时间：2017 期刊会议级别：IEEE 亮点：使用对抗神经网络GAN；新的损失函数 1、生成器（Generator with Symmetric Structure） 生成器为图片中的上半部分，功能为将有雨的图像转化为无雨图像，图片进入网络之后，会依次经过N个 （Dense+transition）。 每个Dense将由n*layer组成，这些layer是平行存在的，每个layer包括三个步骤： batch normalization (BN), leaky rectified linear
李宏毅机器学习第十四周Transformer
weixin_44162879的博客
10-28 488
文章目录李宏毅机器学习第十四周Transformer摘要Abstract零、数学基础——傅里叶变换一、李宏毅机器学习Transformer1. seq2seq模型的应用2. framework of seq2seq model2.1 encoder2.2 decoderdecoder-non-autoregressive（NAT）cross attention在这里插入图片描述Training3. More Tips3.1 copy mechanism3.2 guided attention3.3 beam
CVPR 2023 | 去雨去噪去模糊，图像low-level任务，视觉AIGC系列
idol24的博客
05-29 3889
Learning A Sparse Transformer Network for Effective Image Deraining基于Transformer的方法在图像去雨任务中取得了显著的性能，因为它们可以对重要的非局部信息进行建模，这对高质量的图像重建至关重要。本文发现大多数现有的Transformer通常使用查询-键对中的所有token的相似性进行特征聚合。然而，如果查询中的token与...
DRSformer：Learning A Sparse Transformer Network for Effective Image Deraining——学习稀疏变换网络实现有效图像去雨
Together_CZ的博客
02-05 1100
DRSformer：LearningASparseTransformerNetworkforEffectiveImageDeraining——学习稀疏Transformer网络实现有效图像去雨
TPAMI 2024 | DeepNet: 将Transformer扩展到1000层
小白学视觉
11-10 112
— 在本文中，我们提出了一种简单而有效的方法来稳定极深的Transformer。具体来说，我们引入了一种新的归一化函数（DEEPNORM），用于修改Transformer中的残差连接，并伴随着理论上推导出的初始化。深入的理论分析表明，模型更新可以以稳定的方式被限制。所提出的方法结合了Post-LN的良好性能和Pre-LN的稳定训练这两个最佳方面，使DEEPNORM成为首选的替代方案。
TPAMI 2024 | B-Cos对固有可解释的CNN和视觉Transformer的对齐
小白学视觉
07-27 1377
我们提出了一种通过在训练过程中促进权重和输入对齐来提高深度神经网络(DNN)可解释性的新方向。为此，我们提出用我们新颖的B-cos变换来替代DNN中的线性变换。正如我们所展示的，这样的变换序列(网络)会诱导出一个单一的线性变换，能够忠实地总结整个模型的计算。此外，B-cos变换被设计为在优化过程中使权重与相关信号对齐。因此，这些诱导出的线性变换变得高度可解释，并突显任务相关的特征。
TPAMI 2024 | 双输入流Transformer用于眼动阅读数据中的垂直漂移校正
小白学视觉
03-25 44
作者提出了一种新颖的双输入流Transformer（DIST），用于解决在段落阅读期间收集的眼动数据中将注视点分配到读者实际关注文本行的挑战性问题。由于垂直漂移的存在，这一后处理步骤对于阅读数据的分析至关重要。作者在九个不同的数据集上评估了DIST与十一种经典方法的性能。结果表明，将多个DIST模型实例组合成一个集成模型可以在所有数据集上实现高精度。进一步将DIST集成与最佳经典方法结合，平均准确率达到98.17%。该方法为解决阅读研究中手动行分配的瓶颈问题迈出了重要一步。
image中的transformer操作
Abraham Ben
10-11 795
首先可以通过很多个conv,将imag弄成feature map:(N, C, H, W)，然后reshape + transpose弄成(N, H*W, C)。 此后需要构建Q, K, V矩阵，其实就是nn.Linear层: nn.Linear(C, C) 通过全连接层之后实现channel之间的信息传递，得到三个矩阵: q(x):(N,H∗W,C),k(x):(N,H∗W,C),v(x):(N,H∗W,C)。q(x): (N, H*W, C), k(x): (N, H*W, C), v(x): (N,
基于LSTM-GARCH混合模型的黄金价格波动率预测：信用降级事件冲击评估
05-19 799
本文基于多模态数据融合与因果推理框架，本文构建黄金价格驱动因子图谱，揭示主权信用评级调整、地缘风险与货币政策预期的交互作用机制。5月19日亚市收盘，现货黄金突破3245美元/盎司关键阻力位，日内波幅达1.4%，技术面呈现典型的动量突破形态，但需警惕3250美元区域的多空博弈风险。
YOLOv7训练时4个类别只出2个类别
qq_48873240的博客
05-16 873
在使用YOLOv7进行训练和预测时，发现模型仅能预测出两个类别（LFM和SFM），而实际应有四个类别。经过检查，特征图大小和anchors设置均与YOLOv3一致，且YOLOv3表现正常。最终发现问题可能出在detect.py中的conf-thres参数设置过高，将其从0.5调整为0.1后，问题得到解决。此外，还需注意在NMS操作时不使用classes参数，并在train.py中根据实际类别数和图片大小调整hyp['cls']和hyp['obj']的缩放比例。这些调整有助于确保模型能够正确预测所有类别。
基于深度学习的高效图像失真校正框架总结
weixin_56337944的博客
05-16 787
本文介绍了一种基于深度学习的高效图像失真校正框架，该框架采用两阶段方法进行图像校正。第一阶段使用改进的GeoNet（EffiGeoNet）进行初步校正，通过模型剪枝和知识蒸馏实现轻量化；第二阶段通过图像配准优化，消除残留失真。实验表明，该方法在PSNR和SSIM指标上分别提高了10.39%和30.42%，处理速度提升了85%。该框架适用于多种失真类型，并在医疗内窥镜等实际场景中表现出色。未来研究方向包括增强全局特征提取能力和开发无需参考图像的端到端校正网络。代码和数据已开源，便于复现和进一步研究。
计算机视觉与深度学习 ｜ Python实现EEMD-LSTM时间序列预测（完整源码和数据)
尘世冰封的专栏
05-17 129
EEMD-LSTM通过。
人工智能、机器学习与深度学习：概念解析与内在联系
weixin_62200515的博客
05-19 746
人工智能、机器学习与深度学习是一脉相承的技术体系，体现了人类对机器智能从抽象概念到具体实现的探索历程。人工智能提供宏观目标，机器学习定义实现路径，深度学习则是当前最具突破性的技术分支。 未来，三者的融合将推动人工智能向更通用、更智能、更可靠的方向发展，同时也需关注技术伦理、社会影响等深层问题。对于研究者和从业者而言，理解三者的联系与区别，有助于在不同场景中选择合适的技术方案，把握人工智能领域的发展脉络。
【深度学习新浪潮】如何入门人工智能？
最新发布
agito_cheung的博客
05-19 116
入门人工智能（AI）需要结合数学基础、编程技能、机器学习理论和实践项目，逐步深入。：AI入门有门槛，但通过“理论→实践→复盘”的循环，逐步积累即可。初期遇到问题很正常，多查资料、多交流，保持耐心！：全职学习约3-6个月可掌握基础并完成简单项目，后续需持续实践和跟进领域进展。：不必追求精通，但需掌握基本概念和应用场景，后续通过实践加深理解。
基于深度学习进行运输系统优化
weixin_69327572的博客
05-15 789
from torch.utils.data import Dataset, DataLoader # 数据加载。self.num_samples = num_samples # 样本数量。self.num_tasks = num_tasks # 任务数量。self.num_vehicles = num_vehicles # 车辆数量。# y[i][j][k]: 车辆j是否从任务i行驶到任务k（二进制变量）return self.num_samples # 返回数据集大小。
深度学习详细入门路线----以本人亲身实践得出
2303_76162328的博客
05-17 469
pytorch这个词相信很多人早就听过了 我在刚开始听到这个词的时候 一直以为是一种新的语言 知道后来学了深度学习才知道是一种框架 什么是框架 就是别人搭建好的代码块什么的 比如说你想用一个卷积 你不可能从头开始写吧 这时候框架封装了已经写好的conv 你直接一行代码调用就好 又比如数据处理时 你需要裁剪图片 你使用框架只需要一行代码即可完成 框架的存在 降低了我们写代码的难度 以及确保了代码的整洁与规范 而对于pytorch的学习 你无需从头开始 你只需要在项目中进行学习。
tpami2024图像去噪
03-29
例如，“图像去雨Transformer”的研究成果涵盖了多个公开可用的数据集用于验证模型性能，其中包括但不限于Rain200H、Rain200L以及SPAData等[^3]。虽然这些资源主要用于评估去除降雨效果的能力，但从侧面反映了当前...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值