【论文学习】STN —— Spatial Transformer Networks

最新推荐文章于 2023-03-16 13:41:57 发布
最新推荐文章于 2023-03-16 13:41:57 发布
阅读量1.9k 收藏 5
点赞数
分类专栏： 人脸识别 深度学习 文章标签： STN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DL_wly/article/details/93717411
版权
本文介绍了Spatial Transformer Networks（STN），一种由DeepMind提出的能够显式学习图像变换不变性的网络结构。STN包括定位网络、网格生成器和采样器三个模块，可以替代传统的对齐操作，实现端到端的训练。实验表明，STN可以有效地处理图像的各种形变，且适用于不同的网络结构，提高了分类任务的性能。
摘要由CSDN通过智能技术生成

Paper：Spatial Transformer Networks

这是Google旗下 DeepMind 大作，最近学习人脸识别，这篇paper提出的STN网络可以代替align的操作，端到端的训练实现图片的align。

实际使用的过程中不需要landmarks也可以做align了，而且还可以并联多个，这对于多个物体非常适用，而且，输出的feature大小可以变换，这一点也很灵活。

提出背景

CNN可以显示的学习平移不变性，隐式的学习到对旋转，伸缩、尺度等变换的不变性，Google DeepMind 2016年提出的STN网络，可以显式地赋予网络对上述变换的不变性。不依赖于关键点进行矫正和对齐，而且网络可以作为模块加入神经网络的各个层中。

先来看STN效果

如图，是手写数字识别，图中只有一小块是数字，其他大部分地区都是黑色的，或者是小噪音。假如要识别，用STN层来对图片数据进行旋转缩放，只取其中的一部分，放到之后然后经过CNN就能识别了。说白了就是把图片中物体所在区域送到网络后面的层中，使得后面的分类任务更简单。

本质上来说，CNN是尽力让网络适应物体的形变，而STN是直接通过 Spatial Transformer 将形变的物体给变回到正常的姿态，然后再给网络识别。

 

<
最低0.47元/天 解锁文章
Lingyun_wu
关注
专栏目录
论文阅读《Spatial Transformer Network》
yj_isee的博客
05-27 6220
Google DeepMindAbstract:作者说明了CNN对于输入的数据缺乏空间变换不变形(lack of spatially invariant ability to input data)，因此作者引入了一个spatial transformer module，不需要额外的监督，能够以data-driven的方式学习得到输入图像的空间变换参数，赋予网络spatial invariant能力
[论文翻译]Spatial Transformer Networks（STN）
bxdzyhx的博客
10-29 786
基本是把原文翻译了一遍。 0 摘要 CNN在处理经过空间变换的图像时不具有invariance的性质。 本文提出了一种可训练、可微的Spatial Transformer（ST），它可以被插入到CNN的任何一个地方。 STN可以教正图像的translation, scale, rotation以及更一般的warping，取得了较好的分类效果。 1 Intro CNN在一系列图像任务上取得了巨大的成就……（略） local max-pooling layers使得CNN具有一定的translation in
内涵：STN(spatial transformer network)论文与源码理解
算法工程师进阶之路
05-13 3156
近期对2015年的一篇较为经典的论文"spatial transformer networks(stn)"进行了研究。本博文是stn阅读心得的记录。在第二小节中，会描述stn的实现细节，包括三大组成构件：localisation network, Grid generator, Sampler。在第三小节中会通过跟踪stn源码（pytorch版本）来验证自己的理解。在第四部分作为扩展部分，会尝试从数学角度研究STN的可导性。
[论文翻译]Inverse Compositional Spatial Transformer Networks（IC-STN）
bxdzyhx的博客
10-31 1244
0 摘要 在这篇文献中，我们建立了经典Lucas & Kanade（LK）算法与Spatial Transformer Networks（STN）之间的联系。STN在视觉学习任务中很有用，因为它将对其和分类放在同一个理论框架中。受到LK算法逆组合（Inverse Compositional，IC）变体的启发，我们提出了一种新的网络：Inverse Compositional Spatial Transformer Networks（IC-STN）。我们展示了IC-STN相比于STN可以获得更好的表.
论文笔记之STN
Ton的博客
04-03 5052
这篇文章是15年谷歌DeepMind团队推出的一个可以学习一种变换，这种变换可以将进行了仿射变换的目标进行矫正的网络——Spatial Transformer Network(STN)。STN具有空间不变性特点，也就是说STN可以使图片经过各种变换后的识别效果和未变换前的识别效果保持不变。 Note： 空间不变性：旋转、平移、缩放、裁剪不变性。 传统的池化方式(Max Pooling/Average Pooling)所带来卷积网络的位移不变性和旋转不变性只是局部的和固定的(池化的大小一般都很小，比如3×.
《STN：Spatial Transformer Networks》论文笔记
m_buddy的博客
02-17 1181
1. 概述 由于CNN网络在计算量和参数有效性上的原因，限制了网络对输入数据的空间变换不变性。因此本文提出了一种新的网络模型——Spatial Transformer，它使得可以在网络内部操作和变换数据。并且可以集成到现有的网络中去，使得神经网络在特征图的基础上，在空间上主动变换特征图，而不需要对优化过程进行任何额外的训练监督或修改。结果表明，空间变换的使用使模型学习到平移、缩放、旋转和更一般的扭...
STN：Spatial Transformer Networks 空间变换网络
qq_45122568的博客
04-21 6364
文章是Google DeepMind在2015年提出的Spatial Transformer Networks（STN），该模型能够让卷积网络学会数据的形状变换，能够对经过平移、旋转、缩放及裁剪等操作的图片得到与未经变换前相同的检测结果。STN作为一种独立的模块可以在网络的任意位置插入使得网络具有空间不变性。 文章链接：Spatial Transformer Networks 参考目录： 仿射变换和双线性插值：Spatial Transformer Networks pytorch源码：SPATIAL T.
详细解读Spatial Transformer Networks（STN）-一篇文章让你完全理解STN了
热门推荐
多元思考力
12-22 11万+
目录 STN的作用 1.1 灵感来源 1.2 什么是STN？ STN的基本架构 Localisation net是如何实现参数的选取的？ 3.1 实现平移 3.2 实现缩放 3.3 实现旋转 3.4 实现剪切 3.5 小结 Grid generator实现像素点坐标的对应关系 4.1 为什么会有坐标的问题？ 4.2 仿射变换关系 Sampler实现坐标求解的可微性 5.1 小数
STN系列之Spatial Transformer Networks
迷途中一个小书童
09-04 3964
Spatial Transformer Networks. Max Jaderberg Karen Simonyan Andrew Zisserman Koray KavukcuogluGoogle DeepMind, London, UK。也是利用spatial transformer network来解决pose、distortion、rotation比较大的这类识别任务，比如ocr、finegrind等。
Spatial Transformer Networks
cdknight_happy的专栏
04-19 323
论文：https://arxiv.org/abs/1506.02025 参考：https://blog.csdn.net/xholes/article/details/80457210 https://blog.csdn.net/shaoxiaohu1/article/details/51809605
论文
STN_LCD的专栏
09-11 426
http://netfee.ustc.edu.cn/faq/ vpn1.ustc.edu.cn vpn2.ustc.edu.cn fan2273 fan2273
注意力机制——Spatial Transformer Networks（STN）
最新发布
weixin_50752408的博客
03-16 4357
整个 STN 模块可以插入到任意位置，用于提高网络的对图像变形、旋转等几何变换的鲁棒性。STN 的优点在于，它可以学习对输入数据进行任意复杂的空间变换，从而提高网络的对图像变形、旋转等几何变换的鲁棒性。例如，在图像分类任务中，可以将 STN 插入到卷积神经网络中，用于对输入图像进行空间变换，增强网络对图像变形、旋转等几何变换的鲁棒性。Spatial Transformer Networks（STN）是一种空间注意力模型，可以通过学习对输入数据进行空间变换，从而增强网络的对图像变形、旋转等几何变换的鲁棒性。
深度学习方法（十二）：卷积神经网络结构变化——Spatial Transformer Networks
weixin_30483495的博客
04-03 1056
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、机器学习技术感兴趣的同学加入。 今天具体介绍一个Google DeepMind在15年提出的Spatial Transformer Networks，相当于在传统的一层Convolution中间，装了一个“插件”，可以使得传统的卷积...
PyTorch spatial transformer tutorial 空间变换网络(STN)教程
海尔兄弟的博客
03-11 2292
要查看格式更完美的配图文章，请前去 http://studyai.com/pytorch-1.4/intermediate/spatial_transformer_tutorial.html 在本教程中，您将学习如何使用一种称为空间变换器网络的视觉注意机制来增强您的网络。 您可以在 DeepMind paper 中更多地阅读有关空间变换器网络的内容。 空间变换器网络(Spatial transfo...
PyTorch框架实战系列（3）——空间变换器网络STN
imiyuer的博客
04-15 3983
在神经网络在图像识别问题的实际应用过程中，经常遇到这样的问题：需要识别的目标是图片的一小部分；目标区域大小不一；目标的视角有差异或者是扭曲的。 这些情形如果不做任何处理，直接使用样本，对于CNN模型的效果就会造成一定消极影响。比如，对于手写文字的识别，我们都希望输入的样本是按文字切割好的、大小一致的、清晰而工整的。所以对于这类问题，我们常常会在模型训练之前先对样本做一定的预处理，但这些处理往往是...
STN系列之人脸检测
迷途中一个小书童
09-27 2570
介绍一篇微软用STN做人脸检测的工作。Supervised Transformer Network for Efficient Face Detection；Dong Chen, Gang Hua, Fang Wen, and Jian Sun Motivation： 前面介绍过了STN（spatial transformer network）做识别任务的工作，在人脸这个问题上利用landma
从仿射变化到STN网络
benben044的专栏
09-26 1257
STN网络解读
深度学习新突破：Spatial Transformer Networks解析
Spatial Transformer Networks (STNs)是深度学习领域中一个创新的组件，设计用于增强卷积神经网络（CNNs）的几何变换不变性。CNNs在计算机视觉任务中表现出色，如分类、定位、语义分割和动作识别等，但它们对物体的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值