cv中的transformer和Non-local

于 2022-04-15 16:32:22 发布
阅读量2.7k 收藏 3
点赞数
分类专栏： CV笔记 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xx_xjm/article/details/124197891
版权

两者本质上是一个东西，都是用来求自注意力的，但具体而言还是有一些差别；

1：首先说Non-local，它是像素级别的self-attention,算的是图片中各个像素点对指定像素点的影响；

2：transformer我们拿swin-transformer和vision-transformer，来举例子。

如下可，我们可以看到，两者都对图像进行了分块，不同的是swin-transformer先分了大块，再在大块里面分小块，而VIT就只分为固定的快，然后他们在做self-attention的时候，其实是算的块与块之间的注意力，但值得注意的是swintranformer只算每一个大块里面的小块之间的注意力，也就是大块与大块之间不做注意力计算。

图和内容均参考自：Vision transformer_MarDino的博客-CSDN博客_transformer vision

Swin Transformer 详解 - 知乎 (zhihu.com)

 

xx_xjm
关注
专栏目录
高阶注意力机制_CV中的Attention机制 | NonLocal Network的理解与实现
weixin_39637700的博客
12-06 1689
一Non-localNon-Local是王小龙在CVPR2018年提出的一个自注意力模型。Non-Local Neural Network和Non-Local Means非局部均值去燥滤波有点相似的感觉。普通的滤波都是3×3的卷积核，然后在整个图片上进行移动，处理的是3×3局部的信息。Non-Local Means操作则是结合了一个比较大的搜索范围，并进行加权。在Non-Local NN...
2018-Non-local CVPR
wujing1_1的博客
06-06 247
基于自相似的非局域注意力机制Non-Local是王小龙在年提出的一个模型。Non-Local Neural Network和Non-Local Means非局部均值去燥滤波有点相似的感觉。普通的滤波都是3×3的卷积核，然后在整个图片上进行移动，处理的是3×3局部的信息。Non-Local Means操作则是结合了一个比较大的搜索范围，并进行加权。卷积操作，是典型的，如果要增大神经元的感受野，一般是来实现，但是都会增加，并且feature map的尺寸会较小。为了突破，作者借鉴图像去噪这个领域的操作，提出了n
浅读CV中的注意力机制(Non-local,SENet,CBAM )
Hobart
03-19 3393
1.Non-local Neural Networks 从Non-local Neural Networks 开始计算机视觉中使用attention开始火热，这是一种基于空间注意力机制的网络。 Non-local Neural Network主要解决的问题： 当图像中两个特征距离比较远时，浅层卷积无法覆盖全部特征，特征提取很难提取到完整的信息。 传统的解决方案： 传统CNN通过堆叠多个卷积模块来形成大感受野，使用大感受野来覆盖到全部的特征信息。这样做主要有三个缺点： (1) 捕获距离远的特征，效
【CV中的Attention机制】Non-Local neural networks的理解与实现
qq_37972486的博客
05-01 256
注意力机制 NL NN
读书笔记10：Non-local Neural Networks
b224618的博客
08-22 3514
摘要中，作者开门见山，强调卷积神经网络和循环神经网络的操作都是局域化的操作，在本文中，我们提出非局域化的操作（non-local operation），作为抓取长程相互关系的一个一般性的模块（a generic family of building bolcks for capturing long-range dependenices）。也即第一句话给出问题的背景，第二句话概述自己的方法。之后便...
Non-local Network：人类早期在CV驯服Transformer尝试 | CVPR 2018
晓飞的算法工程笔记
02-22 1941
Non-local操作是早期self-attention在视觉任务上的尝试，核心在于依照相似度加权其它特征对当前特征进行增强，实现方式十分简洁，为后续的很多相关研究提供了参考   来源：晓飞的算法工程笔记 公众号 论文: Non-local Neural Networks 论文地址：https://arxiv.org/abs/1711.07971 论文代码：https://github.com/facebookresearch/video-nonlocal-net Introduction  .
【CVPR2020图像超分辨率】Cross-Scale Non-Local Attention / CSNLN 阅读笔记
weixin_43514766的博客
11-27 6687
Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining 本文介绍的是发表在CVPR2020的一篇关于图像超分辨率的文章，其核心是跨尺度非局部注意力机制。 上周在实验室seminar介绍了这篇文章，为了加强记忆????，准备写一篇笔记。 ????paper：Image Super-Resolution with Cross-Scale Non-Local Attentio
non-local和self-attention
最新发布
06-06
non-local是一种用于计算机视觉和自然语言处理中的注意力机制，通过考虑不同位置的像素或词汇之间的相互关系来改善模型的表现。 self-attention是一种在自然语言处理中广泛使用的机制，通过计算输入序列中不同位置...
Feature Pyramid Transformer论文阅读翻译 -- 2020ECCV
深度检测的博客
08-12 3523
Feature Pyramid Transformer论文阅读翻译 目录：Feature Pyramid Transformer论文阅读翻译一、Abstract二、Introduction三、Feature Pyramid Transformer3.1 Non-Local Interaction Revisited3.2 Self-Transformer3.3 Grounding TransformerLocality-constrained Grounding Transformer.3.4 Render
Non-local U-Nets for Biomedical Image Segmentation
haribo的博客
04-27 802
Non-local U-Nets for Biomedical Image Segmentation 论文地址 Non-local U-Nets 开源代码地址（tensorflow代码）： github BCHW = Nx3x512x896，其中 • B表示批次数目 • C表示图像通道 • H表示图像高度 • W表示图像宽度 现有的模型一般基于U-Net，它依赖重复叠加的局部算子来聚合远程信息。这...
NLN: 非局部神经网络
CV技术指南（微信公众号）
01-05 864
导言： 前面我们介绍了transformer的结构，这一篇是将transformer思想用于CV中的论文，创新点不多，值得写的地方也不多，但还是决定写一下，因为这篇论文可以用来给大家看看transformer用于CV会起到一些什么样的作用，以及transformer可以怎样用于CV中。 介绍transformer结构的时候提到了transformer最大的一个点是可以处理长距离的文本之间的联系，在CV中可以用于处理更大范围的感受野的信息，而不需要通过一层一层的堆叠卷积核来扩大感受野。在N...
Non-local算法代码解析
AI之路
04-19 1万+
论文：Non-local Neural Networks for Video Classification 论文链接：https://arxiv.org/abs/1711.07971 代码链接：https://github.com/facebookresearch/video-nonlocal-net 官方代码是基于Caffe2实现，这篇博客介绍该项目的主要代码，通过代码加深对该算法的理解。...
Pyramid Vision Transformer（PVT）: 纯Transformer设计，用于密集预测的通用backbone
热门推荐
AI数据工厂
03-15 1万+
本文主要提出了一个纯Transformer的模型——PVT，可以作为下游密集预测的backbone使用。还设计了一个渐进缩减金字塔和一个空间缩减注意力层，在有限的资源下获取多尺度的、更高分辨率的输出。
博客阅读：图解Transformer（The Illustrated Transformer）
南有芙蕖
10-10 1888
博客阅读：图解Transformer（The Illustrated Transformer） 原文链接：https://jalammar.github.io/illustrated-transformer/ 作者：Jay Alammar 目录博客阅读：图解Transformer（The Illustrated Transformer）前言1.整体结构（A High-Level Look）图的引入（Bringing The Tensors Into the Picture）2.Encoder编码器（No
CVPR 2020丨图像超清化+老照片修复技术，拯救你所有的模糊、破损照片
我爱计算机视觉
06-12 9158
编者按：也许你曾从橱柜里翻出家人们压箱底的老照片，而它们已经泛黄发脆，甚至有些褪色；也许你在拍照时不慎手抖，只好把糊成一片的照片都丢进“最近删除”。而微软亚洲研究院在计算机视觉顶会 CV...
视觉注意力机制 | Non-local模块如何改进？来看CCNet、ANN
AI算法修炼营的博客
03-05 7415
点击上方“AI算法修炼营”，选择加星标或“置顶”标题以下，全是干货前面的话前面的文章中，我们关注了Non-local网络模块、视觉注意力机制在分类网络中的应用——SENet、SKNet、...
视觉注意力机制 | Non-local与SENet、CBAM模块融合：GCNet、DANet
AI算法修炼营的博客
03-03 5320
点击上方“AI算法修炼营”，选择加星标或“置顶”标题以下，全是干货前面的话前面的文章中，我们关注了Non-local网络模块和视觉注意力机制在分类网络中的应用——SENet、SKNet、...
深入理解BERT Transformer ，不仅仅是注意力机制
03-19 883
大数据文摘与百度NLP联合出品作者：Damien Sileo编译：张驰、毅航、龙心尘BERT是google最近提出的一个自然语言处理模型，它在许多任务检测上表现非常好。如：问答、自然语言推断和释义而且它是开源的。因此在社区中非常...
注意力机制论文:Non-Local neural networks及其Pytorch实现
mingo_敏
03-01 1万+
Non-Local neural networks PDF: https://arxiv.org/pdf/1711.07971.pdf PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks PyTorch代码:
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值