非局部attention之Non-local

已于 2023-07-31 08:51:32 修改
阅读量692 收藏
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习 人工智能
于 2023-06-30 16:18:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_14845119/article/details/131479048
版权
本文介绍了Non-local Neural Networks，一种用于捕捉空间、时间和时空维度依赖的高效注意力模块，适用于视频分类、物体检测等任务。对比卷积和RNN，Non-local具有高效、简洁和通用性。通过实验表明，Non-local能在少量层中取得优秀性能，并能与不同模块结合。论文在Kinetics和Charades数据集上取得SOTA效果，并启发了CSTSAttention模块的设计，提升了UCF101任务的性能。
摘要由CSDN通过智能技术生成

论文：Non-local Neural Networks

Github：GitHub - AlexHex7/Non-local_pytorch: Implementation of Non-local Block.

GitHub - facebookresearch/video-nonlocal-net: Non-local Neural Networks for Video Classification

cvpr2018 凯明作品

论文提出了非局部依赖的attention模块，该模块支持空间维度（space），时间维度（time），时空维度（spacetime）的更大的感受野捕捉。该模块适用与视频分类、物体检测、分割、姿态估计等多项视觉任务。最终论文在Kinetics 和 Charades datasets两个数据集上取得了SOTA的效果。

传统的卷积需要

最低0.47元/天 解锁文章
watersink
关注
专栏目录
【图像超分】论文精读：Residual Non-local Attention Networks for Image Restoration（RNAN）
畅游计算机视觉的海洋
05-25 391
在本文中，我们提出了一种残差非局部注意网络，用于高质量的图像恢复。在不考虑损坏图像中信息分布不均匀的情况下，以往的方法受到局部卷积运算的限制，对空间和通道特征进行同等处理。为了解决这个问题，我们设计了局部和非局部注意块来提取捕获像素之间的远程依赖关系的特征，并更加关注具有挑战性的部分。具体来说，我们在每个（非）局部注意块中设计主干分支和（非）局部掩码分支。主干分支用于提取分层特征。本地和非本地掩码分支旨在自适应地重新缩放这些具有混合注意力的分层特征。局部掩码分支专注于更多具有卷积操作的局部结构，而非局部注意
Cross-Scale-Non-Local-Attention:我们的论文“具有跨尺度非局部注意和穷举的自样本挖掘的图像超分辨率”的PyTorch代码（CVPR2020）
03-21
跨尺度非局部注意和穷举自样本挖掘的图像超分辨率 该存储库适用于以下论文中介绍的CSNLN ，，，，，和，“影像超分辨率与跨尺度非本地关注和详尽的自我模范矿业”，CVPR2020， 该代码基于构建，并在带有Titan / Xp，V100 GPU的Ubuntu 18.04环境（Python3.6，PyTorch_1.1.0）上进行了测试。 内容 介绍 基于深度卷积的单图像超分辨率（SISR）网络具有从大规模外部图像资源中进行局部恢复学习的好处，但大多数现有工作都忽略了自然图像中的远程特征相似性。最近的一些工作通过探索非本地关注模块成功地利用了这种内在特征相关性。但是，当前的任何深层模型都没有研究图像的另一种固有特性：跨尺度特征相关性。在本文中，我们提出了第一个跨尺度非本地（CS-NL）注意模块，该模块集成到递归神经网络中。通过在功能强大的循环融合单元中将新的CS-NL先验与局部和尺度内非局部
non-local attention/ self attention 图像应用的自我理解
THE XING
10-03 5997
self attention 是利用了图像空间上的信息，比如分割等场景，仅仅依靠一个卷积无法建立起空间上像素之间的联系，但是诸如Dense-CRF就可以将每一个像素建立起联系，self-attention也是如此。 self-attention的结构很简单。如下图 我使用pad对其进行刻画。self-attention最重要的部分就是上图左下角部分——制造一个只与空间位置相关的特征矩阵（上图...
Attention机制在计算机视觉中的应用(一)：Non-local Neural Networks
qq_35985044的博客
05-16 2679
论文链接：https://arxiv.org/abs/1711.07971 github地址：https://github.com/lwdoubles/Non-local_pytorch 该模型的思想中借鉴了非局部均值滤波的思想，这里可以先看下非局部均值滤波的原理： https://www.cnblogs.com/helloforworld/p/5303422.html 一·、方程 n...
5种2D Attention整理（Non-Local、Criss-Cross、SE、CBAM、Dual-Attention）
weixin_45657478的博客
06-29 2706
本文介绍5种attention模块的结构。
CS-NL(CVPR2020) Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining
weixin_49497024的博客
09-23 3564
CS-NL(CVPR2020):Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining. 论文地址：https://arxiv.org/pdf/2006.01424.pdf Abstract SISR是利用大量外部数据训练模型来恢复图像的局部特征，但是他们忽视了自然图像的远距离特征的相似性质。（大量数据就是成对的<LR，HR>，自然图像就是输入的要恢复的LR，
深度学习-Non-local Neural Networks非局部神经网络
ssshyeong的博客
11-27 9963
将非本地操作(Non-local Operation)作为一种高效、简单和通用的组件，用于使用深度神经网络捕获远程依赖关系。
Non-local Neural Networks非局部操作笔记
菜鸟中的菜中菜的博客
10-20 1036
原文翻译 文章解读【CV中的Attention机制】Non-Local Network的理解与实现 通用公式： yi=1C(x)∑∀jf(xi,xj)g(xj),. y_i = \frac{1}{C(x)}\sum_{\forall j}f(x_i,x_j)g(x_j),. yi​=C(x)1​∀j∑​f(xi​,xj​)g(xj​),. x是输入信号，cv中使用的一般是feature map i 代表的是输出位置，如空间、时间或者时空的索引，他的响应应该对j进行枚举然后计算得到的 f 函数式计算i和j的相
【YOLOv8改进】Non-Local：基于非局部均值去噪滤波的自注意力模型 (论文笔记+引入代码)
最新发布
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-21 1226
卷积和循环神经网络中的操作都是一次处理一个局部邻域，在这篇文章中，作者提出了一个非局部的操作来作为捕获远程依赖的通用模块。受计算机视觉中经典的非局部均值方法启发，我们的非局部操作计算某一位置的响应为所有位置特征的加权和。而且，这个模块可以插入到许多计算机视觉网络架构中去。
【AAAI2022】Efficient Non-Local Contrastive Attention for Image Super-Resolution (ENLCA)
学习带来的快乐最持久~
09-07 1348
在第一节中已经阐述，再次不再赘述经典写法：某某机制/模块/网络流行，效果好，但是效果不好。文章针对不足之处，提出了某某模块。模块构成，以及各部分作用。额外用到的机制实验结果总结，比SOTA模型好。
NON-LOCAL-注意力机制
qq_35975753的博客
09-26 1万+
什么是视觉中的注意力机制？ 计算机视觉（computer vision）中的注意力机制（attention）的基本思想就是想让系统学会注意力——能够忽略无关信息而关注重点信息。 近几年来，深度学习与视觉注意力机制结合的研究工作，大多数是集中于使用掩码(mask)来形成注意力机制。掩码的原理在于通过另一层新的权重，将图片数据中关键的特征标识出来，通过学习训练，让深度神经网络学到每一张新图片中需要关注的区域，也就形成了注意力。 注意力机制一种是软注意力(soft attention)，另一种则是强注.
图像修复论文Residual Non-local Attention Networks for Image Restoration阅读笔记
import_torch_as_tf
06-10 3302
论文来源：ICLR2019 论文链接：pdf (openreview.net)
探索创新的深度学习模型：Cross-Scale Non-Local Attention
gitblog_00062的博客
04-26 252
探索创新的深度学习模型：Cross-Scale Non-Local Attention 去发现同类优质开源项目:https://gitcode.com/ 在这个快速发展的AI时代，深度学习已经成为了许多领域，如计算机视觉、自然语言处理和音频识别等的核心技术。而Cross-Scale Non-Local Attention是一个在这一领域的创新性开源项目，旨在提升神经网络的性能，特别是其对全局上下文...
Attention机制:Non-local network学习笔记
weixin_38787389的博客
10-25 511
Non-local network
【Dense Res2net:两个非局部注意模型：IVIF】
weixin_43690932的博客
11-25 1112
仅供自己参考
视觉注意力机制 | Non-local模块与Self-attention的之间的关系与区别？
09-23 2465
什么是视觉中的注意力机制？ 计算机视觉（computer vision）中的注意力机制（attention）的基本思想就是想让系统学会注意力——能够忽略无关信息而关注重点信息。 近几年来，深度学习与视觉注意力机制结合的研究工作，大多数是集中于使用掩码(mask)来形成注意力机制。掩码的原理在于通过另一层新的权重，将图片数据中关键的特征标识出来，通过学习训练，让深度神经网络学到每一张新图片中需要关注的区域，也就形成了注意力。 注意力机制一种是软注意力(soft attention)，另一种则是强注意力(
【计算机视觉】详解 自注意力：Non-local 模块与 Self-attention (视觉注意力机制 (一))
热门推荐
闻韶
04-11 3万+
绪论 计算机视觉（computer vision）中，注意力机制（attention）的基本思想就是想让系统学会注意力 ——能够忽略无关信息而关注重点信息。 近几年来，深度学习与视觉注意力机制结合的研究工作，大多数是集中于使用掩码(mask)来形成注意力机制。掩码的原理在于通过另一层新的权重，将图片数据中关键的特征标识出来，通过学习训练，让深度神经网络学到每一张新图片中需要关注的区域，也就形...
【CV中的Attention机制】Non-Local neural networks的理解与实现
pprp的博客
01-05 1286
1. Non-local Non-Local是王小龙在CVPR2018年提出的一个自注意力模型。Non-Local NN和Non-Local Means非局部均值去燥滤波有点相似的感觉。普通的滤波都是3×3的卷积核，然后在整个图片上进行移动，处理的是3×3局部的信息。Non-Local Means操作则是结合了一个比较大的搜索范围，并进行加权。详见：https://blog.csdn.net/qi...
axial attention和non-local attention， 它们之间的区别？
02-22
Non-Local Attention是一种非局部注意机制，其中模型考虑输入序列中每个位置与其他位置之间的关系，以决定输出序列中每个位置的表示。因此，Axial Attention更多地关注序列中的局部关系，而Non-Local Attention更多...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值