[论文理解]Spatial Transformer Networks（STN）

最新推荐文章于 2023-01-31 17:49:44 发布
最新推荐文章于 2023-01-31 17:49:44 发布
阅读量749 收藏 7
点赞数 2
文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bxdzyhx/article/details/109368101
版权
本文探讨了Spatial Transformer Networks（STN）如何引入transformation invariance到CNN中，通过Localisation net预测参数θ，结合Grid generator进行图像变换。STN可应用于CNN的任意深度，实现旋转、缩放等操作，其采样过程由Sampler完成。
摘要由CSDN通过智能技术生成

0 写在前面

在对原文进行了翻译，以及参考了别人的一些博客后，lz打算提炼一下自己对STN的理解，后续有更深入的认识后会不断地增加内容。运用pytorch实现的STN代码可以点这里查看。

1 STN的创新点

单纯的CNN对于图像的transformation（旋转、缩放、大尺度平移）是不具有invariance的。而这篇论文创新性地提出了一种spatial transformer（ST）结构，一定程度上赋予了CNN transformation invariance，算是STN领域的开山之作了，谷歌引用3400+。

2 ST的工作原理

在这里插入图片描述

图1 ST的结构

含有ST的CNN叫做STN。ST可以被插入到CNN的任何深度，比如图像输入端，或者是中间的特征层。数量也是没有限制的。

1.U是一个输入图，可以是初始输入图像，也可以是CNN中间特征层。

2.Localisation net（本地网络）是一个神经网络，比如是CNN或全连接层。无论是什么形式，Localisation net最后都会有个回归层，否则无法输出参数 θ \theta θ。工作时，前一步的U被丢到Localisation net中，回归得到参数 θ \theta θ࿰

最低0.47元/天 解锁文章
不想待在银河系
关注
论文阅读《Spatial Transformer Network》
yj_isee的博客
05-27 6224
Google DeepMindAbstract:作者说明了CNN对于输入的数据缺乏空间变换不变形(lack of spatially invariant ability to input data)，因此作者引入了一个spatial transformer module，不需要额外的监督，能够以data-driven的方式学习得到输入图像的空间变换参数，赋予网络spatial invariant能力
Deformable ConvNets--Part2：(STN)Spatial Transfomer Networks论文解读
DFan的NoteBook
03-24 4384
Deformable ConvNet简介 关于Deformable Convolutional Networks的论文解读，共分为5个部分，本章是第二部分： [ ] Part1： 快速学习实现仿射变换 [x] Part2： Spatial Transfomer Networks论文解读 [ ] Part3： TenosorFlow实现STN [ ] Part4： Deformable Con...
Spatial Transformer Networks
zhuiqiuk的专栏
02-14 2万+
TF code： https://github.com/kevinzakka/spatial-transformer-network 一、相关背景 如果网络能够对经过平移、旋转、缩放及裁剪等操作的图片得到与未经变换前相同的检测结果，我们就说这个网络具有空间变换不变性（将平移、旋转、缩放及裁剪不变性统称为空间不变性）。具有空间变换不变性的网络能够得到更精确地分类结果。传统CNN网络的池化层具有平...
空间变换网络Spatial Transformer Networks（STN）
weixin_50920579的博客
01-31 3260
STN是一个可以加在网络中间的模块，使得网络能够对图像变形有适用性比如加入了这个模块训练出来的模型，就会对变形的物体有一定的识别能力因为模型里包含的参数是对数据进行仿射变换本文提出了一种叫做空间变换网络（Spatial Transform Networks， STN）的网络模型,该网络不需要关键点的标定，能够根据分类或者其它任务自适应地将数据进行空间变换和对齐（包括平移、缩放、旋转以及其它几何变换等）。在输入数据空间差异较大的情况下，这个网络可以加在现有的卷积网络中，提高分类的准确性。
STN(Spatial Transformer Networks)
weixin_30457065的博客
06-08 288
url: https://arxiv.org/abs/1506.02025 year:2015 blog: https://kevinzakka.github.io/2017/01/10/stn-part1/ https://kevinzakka.github.io/2017/01/18/stn-part2/ code: https://github.com/kevinzakka/spatial-...
【论文学习】STN —— Spatial Transformer Networks
Lingyun
06-26 1918
Paper：Spatial Transformer Networks 这是Google旗下 DeepMind 大作，最近学习人脸识别，这篇paper提出的STN网络可以代替align的操作，端到端的训练实现图片的align。 实际使用的过程中不需要landmarks也可以做align了，而且还可以并联多个，这对于多个物体非常适用，而且，输出的feature大小可以变换，这一点也很灵活。 提出...
详细解读Spatial Transformer Networks（STN）-一篇文章让你完全理解STN了
热门推荐
多元思考力
12-22 11万+
目录 STN的作用 1.1 灵感来源 1.2 什么是STN？ STN的基本架构 Localisation net是如何实现参数的选取的？ 3.1 实现平移 3.2 实现缩放 3.3 实现旋转 3.4 实现剪切 3.5 小结 Grid generator实现像素点坐标的对应关系 4.1 为什么会有坐标的问题？ 4.2 仿射变换关系 Sampler实现坐标求解的可微性 5.1 小数
STN：Spatial Transformer Networks 空间变换网络
qq_45122568的博客
04-21 6369
文章是Google DeepMind在2015年提出的Spatial Transformer Networks（STN），该模型能够让卷积网络学会数据的形状变换，能够对经过平移、旋转、缩放及裁剪等操作的图片得到与未经变换前相同的检测结果。STN作为一种独立的模块可以在网络的任意位置插入使得网络具有空间不变性。 文章链接：Spatial Transformer Networks 参考目录： 仿射变换和双线性插值：Spatial Transformer Networks pytorch源码：SPATIAL T.
Spatial-Transformer-Networks_pytorch:空间变压器网络。 请参阅daviddaospatial-transformer-tensorflow
05-14
Tpatial-Transformer-Networks-pytorch 请参阅 （Tensorflow）。 。 陈述 做的杂乱MNIST数据集的实验 。 准确性和损失记录可在cnn.out和stn.out中找到。 转换img可以在transform_img /中找到。 py35_pytorch03_version包含旧版本代码 环境 python3.6 火炬0.4.0 准确性 有线电视新闻网 测试：时代[195/200]损失：0.5264 acc：0.9211 测试：时期[196/200]损失：0.5185 acc：0.9194 测试：纪元[197/200]损失：0.5160 acc：0.9158 测试：时期[198/200]损失：0.5053 acc：0.9183 测试：时期[199/200]损失：0.5057 acc：0.9153 STN 测试：时期[195/
Spatial Transformer Networks（STN）理解
ggyy的NoteBook
07-22 3170
文章目录STN的作用STN的基本结构前向过程Tensorflow部分实现代码实验结果Distorted MNISTGerman Traffic Sign Recognition Benchmark (GTSRB) dataset STN的作用 之前参加过一个点云数据分类的比赛，主要借鉴了PointNet的网络结构，在PointNet中使用到了两次STN。点云数据存在两个主要问题：1、无序性：点云本...
[论文翻译]Spatial Transformer Networks（STN）
bxdzyhx的博客
10-29 787
基本是把原文翻译了一遍。 0 摘要 CNN在处理经过空间变换的图像时不具有invariance的性质。 本文提出了一种可训练、可微的Spatial Transformer（ST），它可以被插入到CNN的任何一个地方。 STN可以教正图像的translation, scale, rotation以及更一般的warping，取得了较好的分类效果。 1 Intro CNN在一系列图像任务上取得了巨大的成就……（略） local max-pooling layers使得CNN具有一定的translation in
空间变换网络（Spatial Transformer Networks）
gz7seven
07-17 393
2015, NIPS **Max Jaderberg, Karen Simonyan, Andrew Zisserman, Koray Kavukcuoglu ** Google DeepMind 为什么提出（Why） 一个理想中的模型：我们希望鲁棒的图像处理模型具有空间不变性，当目标发生某种转化后，模型依然能给出同样的正确的结果 什么是空间不变性：举例来说，如下图所示，假设一个模型能准确把左图中的人物分类为凉宫春日，当这个目标做了放大、旋转、平移后，模型仍然能够正确分类，我们就说这个模型在这个...
spatial transformer networks 这篇论文
weixin_34244102的博客
06-18 162
大致看了看这个paper, 很novel.      我的观点： 在traditional convolutional neural netwoks 中，我们通常会depend 于 extracting features.       而本paper把 hand-crafted 和 feature extraction 结合在了一起，用于处理 invariance of various inpu...
Spatial-Transform-Network
Android_chunhui的专栏
07-24 530
Introduce 传统pooling层： 把feature map分割成网状cell并从每个网格中简化信息。它会丢弃75%（2x2）的激活特征，在位置信息不重要的前提下会增加空间的鲁棒性，不管目标出现在什么位置都能获得相似的特征。但是对于某些任务位置信息是相当重要的，比如在猫分类器中，就无法知道胡子相对于鼻子的位置（在同一cell被池化）。 池化kernel 是局部的，固定的，空间不变性要在...
Spatial Transformer Networks（STN）详解
WZZ18191171661的博客
09-08 1万+
目录1、STN的作用1.1 灵感来源1.2 什么是STN？2、STN网络架构![在这里插入图片描述](https://img-blog.csdnimg.cn/20190908104416274.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L...
Spatial Transformer Networks 空间变换网络
Liam_fang的博客
03-30 1383
    这是一篇来自Google DeepMind 2015年发表的一篇文章，由于最近在看的自然场景中的Curved text需要将Curved text 通过STN变换成tightly-bounded的文本，这样变换之后的文本对于后续的文本识别的效果更好。    众所周知，CNN（卷积神经网络）是一个很强大的分类网络，但是对于input data 还是缺少spatially invariant的...
Spatial Transformer Network
sinat_37011812的博客
08-20 914
简介 卷积神经网络缺少对输入数据空间变化的鲁棒性，简而言之同样的物体假设在不同图片中存在旋转、平移 缩放等空间上的变化，也会对卷积神经网络的预测产生影响。在图像识别、物体定位、语义分割、动作识别等领域，增加对空间信息的鲁棒性都有助于提高最后的准确率。 尽管引入池化操作可以赋予我们的网络一定程度上对空间变化的鲁棒性，但池化操作其实是一个不理想的操作，因为它对丢弃原有feature map上的信...
spatial transformer networks
最新发布
09-13
空间变换网络（Spatial Transformer Networks，STN）是一种神经网络结构，用于改善卷积神经网络（CNN）的空间不变性。STN可以对经过平移、旋转、缩放和裁剪等操作的图像进行变换，使得网络在变换后的图像上得到与原始图像相同的检测结果，从而提高分类的准确性。STN由三个主要部分组成：局部化网络（Localisation Network）、参数化采样网格（Parameterised Sampling Grid）和可微分图像采样（Differentiable Image Sampling）。 局部化网络是STN的关键组件，它负责从输入图像中学习如何进行变换。局部化网络通常由卷积和全连接层组成，用于估计变换参数。参数化采样网格是一个由坐标映射函数生成的二维网格，它用于定义变换后每个像素在原始图像中的位置。可微分图像采样则是通过应用参数化采样网格来执行图像的变换，并在变换后的图像上进行采样。 使用STN的主要优点是它能够在不改变网络结构的情况下增加空间不变性。这使得网络能够处理更广泛的变换，包括平移、旋转、缩放和裁剪等。通过引入STN层，CNN可以学习到更鲁棒的特征表示，从而提高分类准确性。 关于STN的代码实现，您可以在GitHub上找到一个示例实现。这个实现使用TensorFlow框架，提供了STN网络的完整代码和示例。您可以通过查看该代码来了解如何在您的项目中使用STN。 综上所述，spatial transformer networks（空间变换网络）是一种神经网络结构，用于增加CNN的空间不变性。它包括局部化网络、参数化采样网格和可微分图像采样三个部分。通过引入STN层，CNN可以学习到更鲁棒的特征表示，从而提高分类准确性。在GitHub上有一个使用TensorFlow实现的STN示例代码供参考。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值