Spatial Transformer Networks（STN）

最新推荐文章于 2024-08-29 12:41:05 发布
最新推荐文章于 2024-08-29 12:41:05 发布
阅读量131 收藏
点赞数
分类专栏： Master深度学习 文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/francis_s/article/details/120608849
版权
本文深入探讨了卷积神经网络（CNN）的平移不变性原理，解释了为何CNN能够在特征位置变化时仍能捕捉到它们。同时，介绍了空间变换网络（STN）的局部化网部分，该网络通过一系列层计算回归出参数，实现对图像的空间变换。STN的Grid Generator组件在其中起到关键作用，调整图像坐标以适应不同的变换需求。
摘要由CSDN通过智能技术生成

1. 首先要知道CNN具有平移不变性

        这是为什么呢？可以回忆一下CNN都做了什么，第一就是卷积，第二就是maxpool。

        当图像的某一个特征从左上角移动到右下角了，那我们CNN会不会受到影响呢？

        因为我们卷积是整个图像都扫一遍，所以无论特征在哪里，我们的卷积核都会扫一遍，所以特征都会被采样到。

        接着是maxpool，maxpool的作用就是将感受野里面的最大值给拿出来，其实也是卷积的作用，只不过是规则不同了，所以只要特征在上面卷积保留下来了，在maxpool这里也会被输出的。

        所以不管特征在哪里，CNN都是把它给挖出来！

2. STN的结构

Localisation net 
        把原图作为输入，过连续若干层计算（如卷积、FC等），回归出参数\theta，θ的维度取决于网络选择的具体变换类型,如选择仿射变换则\theta\subseteq R^{2*3}。如选择投影变换则 \theta\subseteq R^{3*3} 。θ的值决定了网络选择的空间变换的”幅度大小”

Grid generator:

放一下，后面更新

 

 

Francis_s
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详细解读Spatial Transformer Networks（STN）-一篇文章让你完全理解STN了
多元思考力
12-22 11万+
目录 STN的作用 1.1 灵感来源 1.2 什么是STN？ STN的基本架构 Localisation net是如何实现参数的选取的？ 3.1 实现平移 3.2 实现缩放 3.3 实现旋转 3.4 实现剪切 3.5 小结 Grid generator实现像素点坐标的对应关系 4.1 为什么会有坐标的问题？ 4.2 仿射变换关系 Sampler实现坐标求解的可微性 5.1 小数
STN：Spatial Transformer Networks 空间变换网络
qq_45122568的博客
04-21 6251
文章是Google DeepMind在2015年提出的Spatial Transformer Networks（STN），该模型能够让卷积网络学会数据的形状变换，能够对经过平移、旋转、缩放及裁剪等操作的图片得到与未经变换前相同的检测结果。STN作为一种独立的模块可以在网络的任意位置插入使得网络具有空间不变性。 文章链接：Spatial Transformer Networks 参考目录： 仿射变换和双线性插值：Spatial Transformer Networks pytorch源码：SPATIAL T.
STN可以增强CNN网络
持之以恒
10-27 380
https://pytorch.org/tutorials/intermediate/spatial_transformer_tutorial.html
使用STN的行人属性识别
alex1801
01-14 2463
Improving Pedestrian Attribute Recognition With Weakly-Supervised Multi-Scale Attribute-Specific Localization 文章：https://arxiv.org/abs/1910.04562 代码：https://github.com/chufengt/iccv19_attribute 1、行人属性识别任务 行人属性识别任务本质上是一个分类任务，输入一个人的图像，得到人的性别、年龄、穿衣等的属性。相比
推荐文章：PyTorch-STN - 空间变换网络的神奇力量
gitblog_00094的博客
06-12 376
推荐文章：PyTorch-STN - 空间变换网络的神奇力量 Pytorch-STNSpatial Transformer Networks in Pytorch.项目地址:https://gitcode.com/gh_mirrors/py/Pytorch-STN 1、项目介绍 PyTorch-STN 是一个基于 PyTorch 框架的实现，它旨在复现Jaderberg等人在2015年提出的空间...
spatial transformer network (STN)
qq_32425195的博客
08-22 926
STN
Spatial Transformer Network
sinat_37011812的博客
08-20 877
简介 卷积神经网络缺少对输入数据空间变化的鲁棒性，简而言之同样的物体假设在不同图片中存在旋转、平移 缩放等空间上的变化，也会对卷积神经网络的预测产生影响。在图像识别、物体定位、语义分割、动作识别等领域，增加对空间信息的鲁棒性都有助于提高最后的准确率。 尽管引入池化操作可以赋予我们的网络一定程度上对空间变化的鲁棒性，但池化操作其实是一个不理想的操作，因为它对丢弃原有feature map上的信...
2016-Spatial Transformer Networks理解2
01-17
http://blog.csdn.net/chamie/article/details/78979171
Spatial Transformer Networks（STN）理解
ggyy的NoteBook
07-22 3114
文章目录STN的作用STN的基本结构前向过程Tensorflow部分实现代码实验结果Distorted MNISTGerman Traffic Sign Recognition Benchmark (GTSRB) dataset STN的作用 之前参加过一个点云数据分类的比赛，主要借鉴了PointNet的网络结构，在PointNet中使用到了两次STN。点云数据存在两个主要问题：1、无序性：点云本...
对 Spatial Transformer Networks(空间变换网络) 的思考
绝望的乐园
05-07 1745
论文地址： https://arxiv.org/abs/1506.02025 这几天看了下stn，大概写一写吧。说实话，这个东西思想倒是蛮有意思的，但是实际用起来效果不好说，至少在我想要应用的场景下效果不怎么样。 这里先写论文的思路，再写一下我做的一些实验与相应的思考。 STN 目标 我们知道，CNN推动了计算机视觉的发展，但是还是有一些缺陷。在“Visualizing and Understan...
PyTorch spatial transformer tutorial 空间变换网络(STN)教程
海尔兄弟的博客
03-11 2282
要查看格式更完美的配图文章，请前去 http://studyai.com/pytorch-1.4/intermediate/spatial_transformer_tutorial.html 在本教程中，您将学习如何使用一种称为空间变换器网络的视觉注意机制来增强您的网络。 您可以在 DeepMind paper 中更多地阅读有关空间变换器网络的内容。 空间变换器网络(Spatial transfo...
[转载]STN：Spatial Transformer Networks 空间变换网络
wuling129的专栏
04-02 148
卷积神经网络缺乏对输入数据保持空间不变的能力，导致模型性能下降。虽然CNN中引入池化层有助于满足这一特性，但这种空间不变性仅能在池化矩阵的范围内才具有平移不变性或者在卷积的深层层次上实现。在这篇文章中，作者提出了一种新的可学习模块，STN。这个可微模块可以插入现有的卷积结构中，使神经网络能够根据特征图像本身，主动地对特征图像进行空间变换，而不需要任何额外的训练监督或优化过程。
PyTorch 进阶学习（二）————STN:空间变换网络（Spatial Transformer Network）
qq_36414085的博客
12-14 5597
文章目录数据集的加载空间变换网络的介绍定义网络训练和测试模型可视化 STN 结果 官方文档地址：https://pytorch.org/tutorials/intermediate/spatial_transformer_tutorial.html 在本教程中，您将学会如何使用 空间变换网络 的视觉注意力机制来扩充网络。如果需要了解更多 空间变换网络 可以在 DeepMind 论文中详细阅读。 空...
《Spatial Transformer Networks》
正在挣扎中的人
11-03 740
1. 研究问题 普通的CNN只有局部的平移不变性，而对于大的变换不具有不变性，这样，当新数据相对于训练数据发生大的变换时，可能会导致无法准确的预测。比如，对于分类任务来说，当测试集中的一只猫发生了平移、旋转、缩放等操作，那么很容易造成分类错误。 2. 研究方法 提出了一个可微分的spatial transformer module（空间变换模块），该模块可以嵌入CNN中，形成spatial transformer networks（空间变换网络）进行端到端的训练，从而赋予CNN对输入图像以及特征图进行任意空
服装关键点检测算法(CNN/STN)含(4点、6点以及8点)
datayx的文章
04-10 2064
向AI转型的程序员都关注了这个号????????????人工智能大数据与深度学习 公众号：datayx最近几年服饰关键点检测分析引起了人们的广泛关注。以前的具有代表性的工作是服装关键点的...
空间变形网络——STN
小白不白
12-04 6278
CNN 的机理使得 CNN 在处理图像时可以做到 transition invariant，却没法做到 scaling invariant 和 rotation invariant。即使是现在火热的 transformer 搭建的图像模型 (swin transformer, vision transformer)，也没办法做到这两点。（注：spatial transformer和这两个transformer原理不一样，虽然都叫transformer）因为他们在处理时都会参考图像中物体的相对大小和位置方向。
【论文学习】：Spatial Transformer Network
m0_37644085的博客
09-11 2481
原文：https://www.cnblogs.com/liaohuiqiang/p/9226335.html 2015, NIPSMax Jaderberg, Karen Simonyan, Andrew Zisserman, Koray Kavukcuoglu Google DeepMind 为什么提出（Why） 一个理想中的模型：我们希望鲁棒的图像处理模型具有空间不变性，当目标发生某种转...
机器学习和深度学习·贝叶斯优化和optuna
最新发布
2301_80132162的博客
08-29 750
先验：取点取了n个点之后…后验：近似取得极值。
spatial transformer networks
09-13
空间变换网络（Spatial Transformer Networks，STN）是一种神经网络结构，用于改善卷积神经网络（CNN）的空间不变性。STN可以对经过平移、旋转、缩放和裁剪等操作的图像进行变换，使得网络在变换后的图像上得到与原始图像相同的检测结果，从而提高分类的准确性。STN由三个主要部分组成：局部化网络（Localisation Network）、参数化采样网格（Parameterised Sampling Grid）和可微分图像采样（Differentiable Image Sampling）。 局部化网络是STN的关键组件，它负责从输入图像中学习如何进行变换。局部化网络通常由卷积和全连接层组成，用于估计变换参数。参数化采样网格是一个由坐标映射函数生成的二维网格，它用于定义变换后每个像素在原始图像中的位置。可微分图像采样则是通过应用参数化采样网格来执行图像的变换，并在变换后的图像上进行采样。 使用STN的主要优点是它能够在不改变网络结构的情况下增加空间不变性。这使得网络能够处理更广泛的变换，包括平移、旋转、缩放和裁剪等。通过引入STN层，CNN可以学习到更鲁棒的特征表示，从而提高分类准确性。 关于STN的代码实现，您可以在GitHub上找到一个示例实现。这个实现使用TensorFlow框架，提供了STN网络的完整代码和示例。您可以通过查看该代码来了解如何在您的项目中使用STN。 综上所述，spatial transformer networks（空间变换网络）是一种神经网络结构，用于增加CNN的空间不变性。它包括局部化网络、参数化采样网格和可微分图像采样三个部分。通过引入STN层，CNN可以学习到更鲁棒的特征表示，从而提高分类准确性。在GitHub上有一个使用TensorFlow实现的STN示例代码供参考。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值