论文阅读 | Spatial Transformer Networks

最新推荐文章于 2022-03-09 19:54:22 发布
最新推荐文章于 2022-03-09 19:54:22 发布
阅读量202 收藏 1
点赞数
文章标签： 人工智能
原文链接：http://www.cnblogs.com/Zak-NoS/p/10941776.html
版权

max-pooling作用　在一定程度上帮助ＣＮＮ处理空间不变性
在这里插入图片描述

Spatial Transformers

Spatial Transformers 机制分为三个部分:
１．localisational network,输入特征映射，输出Spatial Transformation 参数，
２．用这些参数创造sampling grid,将输入映射通过转化变为transformed map

Localisation Network

Localisation Network将输入特征\(U\in R^{H*W*C}\) ,\(\theta\)是输出，transformation　\(\tau_{\theta}\)是变换参数应用在feature map 上,\(\theta=f_{loc}(U)\),\(\theta\)根据转换类型是可变的，
Localisation Network　\(f_{loc}(U)\),可以是全连接，也可以是ＣＮＮ，但都必须有a final regression layer　来产生transformation parameter \(\theta\)

Parameterised Sampling Grid

每个输出像素通过应用一个中心输入feature map的一个特定的位置的采样kernel，
output pixels依赖于一个grid G,形成输出\(V\in R^{H^{'}*W{'}*C}\)
在这里插入图片描述
a 是 regular grid，\(I\)是单位转移参数，ｂ是an affine transformation
在这里插入图片描述
与图形学位置纹理变换相同，将原始坐标经过变换矩阵处理后，转换为目标坐标
在这里插入图片描述
用于attention的变换矩阵

Differentiable Image Sampling

在这里插入图片描述
\(\Phi_{x}\),\(\Phi_{y}\)是用于图像插值基本sampling kernel \(k()\)的参数，\(V_{i}^{c}\)是输出值channel c 像素i在\((x_{i}^{t},y_{i}^{t})\),对每个通道的采样是一致的
height and width normalised coordinates
在这里插入图片描述
理论上，任何满足对ｘ，ｙ可导的
在这里插入图片描述
上式求偏导：
在这里插入图片描述

Spatial Transformer Networks

combination of the localisation network, grid generator, and sampler form a spatial transformer 这个组合可以被用在CNN结构的任何一个地方
可以用多个STN

转载于:https://www.cnblogs.com/Zak-NoS/p/10941776.html

论文阅读《Spatial Transformer Networks》
zzchust的专栏
11-09 5914
STN module inserted to CNN without any extra training feature maps learn invariance to translation, scale, rotation, and more generic warping
STN：Spatial Transformer Networks 空间变换网络
qq_45122568的博客
04-21 6893
文章是Google DeepMind在2015年提出的Spatial Transformer Networks（STN），该模型能够让卷积网络学会数据的形状变换，能够对经过平移、旋转、缩放及裁剪等操作的图片得到与未经变换前相同的检测结果。STN作为一种独立的模块可以在网络的任意位置插入使得网络具有空间不变性。 文章链接：Spatial Transformer Networks 参考目录： 仿射变换和双线性插值：Spatial Transformer Networks pytorch源码：SPATIAL T.
Transformer系列论文阅读
Mi_Hao_YOUNG的博客
05-14 5096
这是博主在五一期间对Transformer几篇相关论文阅读的小笔记和总结 也借鉴参考了很多大佬的优秀文章，链接贴在文章下方，推荐大家前去阅读 该文章只是简单叙述几个Transformer模型的基本框架，对其详细信息（如实验情况等）请阅读论文或点击下方对应文章链接前往阅读 阅读论文 A Survey on Visual Transformer[1] Transformers in Vision: A Survey[2] An Image Is Worth 16X16 Words: Transformers f
[paper]Transformer 相关论文阅读
Lord_sh的博客
08-20 617
[paper]Transformer-XL: Attentive Language Models (venv2.7) mi@mi-OptiPlex-7060:~/shenhao/study/transformer-xl/tf$ bash scripts/enwik8_base_gpu.sh train_data Producing dataset... building vocab with ...
Transformer论文阅读(一): Attention is all you need
天狼啸月1990的博客
06-16 3138
Transformer三大核心： rely entirely on self-attention reduced to a constant number of operations to learn representations of all input and output positions
【论文阅读】Transformer——Attention Is All You Need
qq_41488595的博客
03-09 470
文章目录论文阅读模型架构代码合集utils.pymodel.pytrain.pytest.py 论文阅读 因为本人算是半个CV人，没有NLP的基础，这篇文章和代码也只是浅尝辄止,下载了大佬的代码跑了跑，看了看model中文件就结束了，有错误希望指出 感谢知乎上的一个大神 知乎大神代码链接 Attention Is All You Need原文地址 文章提出了一个简单的架构Transformer，没有使用RNN和卷积，只是使用了注意力机制，可以并行计算，训练时间很短。 model architecture：
详细解读Spatial Transformer Networks（STN）-一篇文章让你完全理解STN了
热门推荐
多元思考力
12-22 11万+
目录 STN的作用 1.1 灵感来源 1.2 什么是STN？ STN的基本架构 Localisation net是如何实现参数的选取的？ 3.1 实现平移 3.2 实现缩放 3.3 实现旋转 3.4 实现剪切 3.5 小结 Grid generator实现像素点坐标的对应关系 4.1 为什么会有坐标的问题？ 4.2 仿射变换关系 Sampler实现坐标求解的可微性 5.1 小数
1506.02025_Spatial Transformer Networks
08-14
new learnable module, the Spatial Transformer, which explicitly allows the spatial manipulation of data within the network. This differentiable module can be inserted into existing convolutional ...
STN(Spatial Transformer Networks)
06-04 1万+
上一篇介绍了通道注意力机制SENET，有兴趣的同学可以去看一下SENET.
Spatial Transformer Networks--论文阅读笔记
翻山越岭的那一边
08-25 422
Spatial Transformer Networks–论文阅读笔记 主要思想 用一个神经网络来生成仿射变换的变换矩阵，这样就得到一种仿射变换，用于处理数据使得之后用这些数据进行的后续的任务能获得更佳的效果。 预备知识：仿射变换 关于仿射变换，这个知乎回答我觉得很容易理解了 简单理解为 线性变换+平移 即可 在CV中我认为用仿射变换的作用就在于将输入图像中的目标对象进行一个拉...
Spatial-Transformer-Networks_pytorch:空间变压器网络。 请参阅daviddaospatial-transformer-tensorflow
05-14
Tpatial-Transformer-Networks-pytorch 请参阅 （Tensorflow）。 。 陈述 做的杂乱MNIST数据集的实验 。 准确性和损失记录可在cnn.out和stn.out中找到。 转换img可以在transform_img /中找到。 py35_pytorch03_version包含旧版本代码 环境 python3.6 火炬0.4.0 准确性 有线电视新闻网 测试：时代[195/200]损失：0.5264 acc：0.9211 测试：时期[196/200]损失：0.5185 acc：0.9194 测试：纪元[197/200]损失：0.5160 acc：0.9158 测试：时期[198/200]损失：0.5053 acc：0.9183 测试：时期[199/200]损失：0.5057 acc：0.9153 STN 测试：时期[195/
理解Spatial Transformer Networks
08-13
随着深度学习的不断发展,卷积神经网络(CNN)作为计算机视觉领域的杀手锏,在几乎所有视觉相关任务中都展现出了超越传统机器学习算法甚至超越人类的能力。一系列CNN-based网络在classification、localization、semantic segmentation、action recognization等任务中都实现了state-of-art的结果。
【经典论文阅读15】Transformer—铸就大模型时代的基石
说文科技，做有态度的研究。
10-28 6822
弄清楚Transformer模型内部的每一个细节尤为重要
【论文笔记-5】Spatial Transformer Networks(STN)
Paul_Huang的专栏
11-18 2387
Spatial Transformer Networks(STN)-论文笔记 1. 问题提出 CNN在图像分类中取得了显著的成效，主要是得益于 CNN 的深层结构具有 ：平移不变性、缩小不变性\color{red}平移不变性、缩小不变性平移不变性、缩小不变性；还对缺失的空间不变性（spatially  invariance）\color{red}空间不变性（spatially\;invariance）空间不变性（spatiallyinvariance）做了相应的实验。 缩小不变性缩小不变性缩小不变性主
论文阅读 - Spatial Transformer Networks
zjuPeco的博客
02-26 3447
spatial transformer的论文阅读
论文阅读《Spatial Transformer Network》-stn
tommorrow12的博客
08-15 467
Google DeepMind Abstract: 作者说明了CNN对于输入的数据缺乏空间变换不变形(lack of spatially invariant ability to input data)，因此作者引入了一个spatial transformer module，不需要额外的监督，能够以data-driven的方式学习得到输入图像的空间变换参数，赋予网络spatial invari...
空间转换网络——Spatial Transformer Networks（论文笔记）
qq_43673118的博客
11-09 2316
本文是对论文《Spatial Transformer Networks》的学习梳理总结，主要参考文献为论文原文——《Spatial Transformer Networks》以及一篇博客——论文笔记：Spatial Transformer Networks（空间变换网络） 一、CNN存在的问题 CNN定义了非常强大的分类模型，但是仍然受到缺乏在计算和参数效率上对输入数据空间不变性能力的限制。即，当...
论文阅读 (35)：Spatial Transformer Networks
因吉的博客
12-25 2437
题目：Spatial transformer networks 代码： 摘要：卷积神经网络定义了一类有力模型，但依然受到输入数据空间不变 (spatially invariant)的限制。本文引入一个新的可学习模块，即空间转换器 (spatial transformer)，其明确允许在网络内对数据进行空间操作。该可微分模块可以应用到现有的卷积架构中，使得网络能够主动空间变换特征图，而无需额外的监督训练，或优化更改。
Spatial Transformer Networks 论文笔记
Cyiano的博客
10-27 1506
Spatial Transformer Networks 论文笔记简介 Spatial Transformer Networks和BN一样相当于一个小插件，放在卷积网络中，其主要目的是对齐网络的每个输入。比如MNIST的手写数字识别，如果有一个图像中的数字有一定角度倾斜或偏移，Spatial Transformer可以对输入图像进行仿射变换，让CNN真正的输入变成对齐后的数字图像。 网络 网络结
视觉transformer发展脉络
最新发布
07-20
视觉Transformer是一种基于Transformer架构的深度学习模型，用于处理计算机视觉任务。它的发展脉络可以追溯到自然语言处理领域中的Transformer模型。 2017年，Google的研究人员提出了Transformer模型，用于机器翻译任务。这个模型使用了自注意力机制，能够在没有序列顺序限制的情况下有效地建模长距离依赖关系，取得了很好的翻译效果。 在2018年，Ashish Vaswani等人进一步提出了"Attention is All You Need"论文，详细介绍了Transformer模型的结构和训练方法。这个论文引起了广泛关注，并成为了自然语言处理领域的重要里程碑。 在2019年，Vision Transformer (ViT)模型被提出，将Transformer模型应用于计算机视觉任务。ViT通过将图像切分为一系列小的图像块（patches），并将这些图像块转化为序列输入，然后使用Transformer模型进行处理，实现了图像分类任务。 随后，为了更好地处理图像中的空间结构信息，研究人员提出了一系列改进的视觉Transformer模型。例如，Spatial Transformer Networks (STN)模型引入了一个空间变换网络，用于学习图像的几何变换；Vision Permutator模型则通过引入可学习的排列操作，改进了图像块的排列方式。 此外，还有一些针对特定任务的视觉Transformer模型被提出，如图像分割、目标检测和图像生成等。这些模型通过在Transformer架构中引入特定的模块和损失函数，实现了不同的计算机视觉任务。 总之，视觉Transformer的发展脉络可以追溯到Transformer模型的提出和应用于自然语言处理领域，然后经过一系列改进和扩展，被成功应用于计算机视觉任务中。这些模型在图像分类、目标检测、图像分割等任务上取得了显著的性能提升，成为了计算机视觉领域的重要研究方向之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值