STN系列之Spatial Transformer Networks

最新推荐文章于 2024-08-16 08:26:58 发布
最新推荐文章于 2024-08-16 08:26:58 发布
阅读量3.9k 收藏 4
点赞数 1
文章标签： 机器学习 计算机视觉 ai stn 人脸识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dreamer_on_air/article/details/77836507
版权
本文介绍了Spatial Transformer Networks（STN）的概念，它解决了计算机视觉中的形变问题。STN作为神经网络的一部分，实现了形变矫正的端到端学习。通过STN，网络可以学习到适当的变换参数，对输入特征图进行采样，从而进行空间变换。实验表明，STN在手写数字识别、街景房屋号码识别和细粒度分类任务中都能提高性能，尤其是在处理多个目标或关注不同区域特征时。STN为将传统图像处理方法融入深度学习提供了新的思路。
摘要由CSDN通过智能技术生成

本来是要看这篇paper的：Supervised Transformer Network for Efficient Face Detection. Dong Chen, Gang Hua, Fang Wen, and Jian SunMicrosoft Research

这是一篇2016年做人脸检测的工作，主要的idea是通过一个transform net来把人脸对齐的过程变成end-to-end，隐式的来做。其先导工作为
Spatial Transformer Networks. Max Jaderberg Karen Simonyan Andrew Zisserman Koray KavukcuogluGoogle DeepMind, London, UK。也是利用spatial transformer network来解决pose、distortion、rotation比较大的这类识别任务，比如ocr、finegrind等。

所以花了些时间先来看了Spatial Transformer Networks.这个工作，还是个相当漂亮的工作。大部分计算机视觉任务都有个绕不开的问题就是形变，拍摄的角度、物体本身的形变都会导致检测、识别变得更加困难。传统的方法一般是定义一些关键点，然后根据关键点和标准物体图像的对应关系来做形变的矫正。那么end2end大法被验证是更优的方案之后，已经有很多传统方法被加入网络结构中成为深度学习中的一层，比如conv/pooling/normalize/embedding之类的。所以作者提出了一个很好的idea，做形变矫正这件事情也可以作为网络的一个层来表示，也就是这样：

最低0.47元/天 解锁文章
迷途中一个小书童
关注
理解Spatial Transformer Network
SIGAI_CSDN的博客
08-10 7783
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 概述 随着深度学习的不断发展,卷积神经网络(CNN)作为计算机视觉领域的杀手锏,在几乎所有视觉相关任务中都展现出了超越传统机器学习算法甚至超越人类的能力。一系列CNN-based网络在classificati...
空间变换网络--spatial transform network
u011961856的专栏
09-10 4万+
CNN分类时，通常需要考虑输入样本的局部性、平移不变性、缩小不变性，旋转不变性等，以提高分类的准确度。这些不变性的本质就是图像处理的经典方法，即图像的裁剪、平移、缩放、旋转，而这些方法实际上就是对图像进行空间坐标变换，我们所熟悉的一种空间变换就是仿射变换，图像的仿射变换公式可以表示如下： 式中，(xSource,ySourcex^{Source},y^{Source})表示原图像像素点，(xTar
探索深度学习新领域：Spatial Transformer Networks开源项目推荐
最新发布
gitblog_00747的博客
08-16 454
探索深度学习新领域：Spatial Transformer Networks开源项目推荐 transformer_networkSpatial Transformer network项目地址:https://gitcode.com/gh_mirrors/tr/transformer_network 在深度学习的浩瀚宇宙中，有一颗独特的明星——Spatial Transformer Network...
STN(Spatial Transformer Networks)
06-04 1万+
上一篇介绍了通道注意力机制SENET，有兴趣的同学可以去看一下SENET.
Paper Reading：Spatial Transformer Networks（with code explanation）
l691899397的博客
12-14 3908
原文：Spatial Transformer Networks前言：卷积神经网络（CNN）已经可以构建出一个强大的分类模型，但它仍然缺乏能力来应对输入数据的空间变换，。这篇文章提出了一种叫做空间变换网络（Spatial Transform Networks， STN）的模型，它能自动学习变换参数，对上一层的图像进行处理，在一定程度上自适应实现这些变换，从而实现对空间变换的不变性。
李宏毅：spatial transformer （空间变换）
jiaojiaolou的博客
05-21 4007
（1）它不仅可以放在CNN之前进行transformer，transform input image，比如：把image放大...；同时它也可以放在CNN里面去transform feature map。 （2）将weight设置成不同，就可以对image进行变换，下面这个例子是对 image进行平移操作 。 旋转： （3） 下面是梯度不会下降：当参数做一些小小的改动的...
STN：Spatial Transformer Networks 空间变换网络
qq_45122568的博客
04-21 6384
文章是Google DeepMind在2015年提出的Spatial Transformer Networks（STN），该模型能够让卷积网络学会数据的形状变换，能够对经过平移、旋转、缩放及裁剪等操作的图片得到与未经变换前相同的检测结果。STN作为一种独立的模块可以在网络的任意位置插入使得网络具有空间不变性。 文章链接：Spatial Transformer Networks 参考目录： 仿射变换和双线性插值：Spatial Transformer Networks pytorch源码：SPATIAL T.
详细解读Spatial Transformer Networks（STN）-一篇文章让你完全理解STN了
热门推荐
多元思考力
12-22 11万+
目录 STN的作用 1.1 灵感来源 1.2 什么是STN？ STN的基本架构 Localisation net是如何实现参数的选取的？ 3.1 实现平移 3.2 实现缩放 3.3 实现旋转 3.4 实现剪切 3.5 小结 Grid generator实现像素点坐标的对应关系 4.1 为什么会有坐标的问题？ 4.2 仿射变换关系 Sampler实现坐标求解的可微性 5.1 小数
Spatial Transformer Networks（STN）理解
ggyy的NoteBook
07-22 3174
文章目录STN的作用STN的基本结构前向过程Tensorflow部分实现代码实验结果Distorted MNISTGerman Traffic Sign Recognition Benchmark (GTSRB) dataset STN的作用 之前参加过一个点云数据分类的比赛，主要借鉴了PointNet的网络结构，在PointNet中使用到了两次STN。点云数据存在两个主要问题：1、无序性：点云本...
spatial_transformer（注意力模型）
05-19
深度学习算法 中高效率的额 注意力模型，采用Python语言编写
3DMMasSTN:MatConvNet实现，用于将3D变形模型（3DMM）合并到空间变压器网络（STN）中-matlab开发
05-28
此页面显示了如何使用3D可变形模型作为卷积神经网络（CNN）中的空间变换器。 它是原始空间转换器网络的扩展，因为我们能够解释和归一化3D姿态更改和自遮挡。 网络（特别是网络的本地化器部分）学会了将3D可变形模型拟合到单个2D图像，而无需标记已拟合模型的示例。 所提出的体系结构基于纯几何方法，其中仅3DMM的形状分量用于对图像进行几何归一化。 我们的方法可以无监督的方式进行训练，因此不依赖于综合训练数据或现有算法的拟合结果。 与以前的所有3DMM拟合网络相比，我们的3DMM-STN的输出是原始图像的2D重采样，其中包含所有高频信号，可以区分人脸细节，而不是基于模型的重建，后者只能捕获总体， 3DMM可以解释外观的低频方面。
2016-Spatial Transformer Networks理解
01-17
http://blog.csdn.net/chamie/article/details/78979171
空间变换网络（Spatial Transform Networks，STN）
wydbyxr的博客
11-28 3036
空间变换网络（Spatial Transform Networks，STN）   该网络不需要关键点的标定，能够根据分类或者其它任务自适应地将数据进行空间变换和对齐（包括平移、缩放、旋转以及其它几何变换等）。在输入数据在空间差异较大的情况下，这个网络可以加在现有的卷积网络中，提高分类的准确性。   STN 计算较快，几乎没有增加原有网络模型的训练时间。由于它能够在训练过程中，学习到与任务相关的空间...
Spatial-Transform-Network
Android_chunhui的专栏
07-24 531
Introduce 传统pooling层： 把feature map分割成网状cell并从每个网格中简化信息。它会丢弃75%（2x2）的激活特征，在位置信息不重要的前提下会增加空间的鲁棒性，不管目标出现在什么位置都能获得相似的特征。但是对于某些任务位置信息是相当重要的，比如在猫分类器中，就无法知道胡子相对于鼻子的位置（在同一cell被池化）。 池化kernel 是局部的，固定的，空间不变性要在...
论文笔记：Spatial Transformer Networks（空间变换网络）
Meringue's Blog
07-17 1万+
上一篇博客 Spatial Transformer Networks论文笔记（一）——仿射变换和双线性插值介绍了仿射变换和双线性插值，为更好地理解STN打基础。本篇博客是记录的是阅读原文Spatial Transformer Networks的一些笔记。
【转载】空间变换网络--spatial transform network
xiaoyaolangwj的博客
06-29 976
转载位置：空间变换网络--spatial transform network CNN分类时，通常需要考虑输入样本的局部性、平移不变性、缩小不变性，旋转不变性等，以提高分类的准确度。这些不变性的本质就是图像处理的经典方法，即图像的裁剪、平移、缩放、旋转，而这些方法实际上就是对图像进行空间坐标变换，我们所熟悉的一种空间变换就是仿射变换，图像的仿射变换公式可以表示如下： 式中，(xSource,ySourcexSource,ySource)表示原图像像素点，(xTarget,yTargetxTarget,
spatial transformer networks
09-13
空间变换网络（Spatial Transformer Networks，STN）是一种神经网络结构，用于改善卷积神经网络（CNN）的空间不变性。STN可以对经过平移、旋转、缩放和裁剪等操作的图像进行变换，使得网络在变换后的图像上得到与原始图像相同的检测结果，从而提高分类的准确性。STN由三个主要部分组成：局部化网络（Localisation Network）、参数化采样网格（Parameterised Sampling Grid）和可微分图像采样（Differentiable Image Sampling）。 局部化网络是STN的关键组件，它负责从输入图像中学习如何进行变换。局部化网络通常由卷积和全连接层组成，用于估计变换参数。参数化采样网格是一个由坐标映射函数生成的二维网格，它用于定义变换后每个像素在原始图像中的位置。可微分图像采样则是通过应用参数化采样网格来执行图像的变换，并在变换后的图像上进行采样。 使用STN的主要优点是它能够在不改变网络结构的情况下增加空间不变性。这使得网络能够处理更广泛的变换，包括平移、旋转、缩放和裁剪等。通过引入STN层，CNN可以学习到更鲁棒的特征表示，从而提高分类准确性。 关于STN的代码实现，您可以在GitHub上找到一个示例实现。这个实现使用TensorFlow框架，提供了STN网络的完整代码和示例。您可以通过查看该代码来了解如何在您的项目中使用STN。 综上所述，spatial transformer networks（空间变换网络）是一种神经网络结构，用于增加CNN的空间不变性。它包括局部化网络、参数化采样网格和可微分图像采样三个部分。通过引入STN层，CNN可以学习到更鲁棒的特征表示，从而提高分类准确性。在GitHub上有一个使用TensorFlow实现的STN示例代码供参考。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值