目标检测之网络篇（2）【STN-空间变换网络】

最新推荐文章于 2024-06-03 08:46:27 发布
最新推荐文章于 2024-06-03 08:46:27 发布
阅读量3.6k 收藏 9
点赞数
分类专栏： 目标检测 深度学习 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38708130/article/details/83616554
版权
空间变换网络（STN）是DeepMind提出的一种技术，用于改善CNN的平移不变性。STN由参数预测、坐标映射和像素采集三部分组成，通过端到端训练消除图像变形，增强模型的识别效率。它可以作为一个模块插入到CNN中，学习自适应的空间变换，提升目标检测和分类任务的性能。
摘要由CSDN通过智能技术生成

文章目录

1. STN是什么

STN：Spatial Transformer Networks，即空间变换网络，是Google旗下 DeepMind 公司的研究成果。该论文提出空间变换网络STN，分为参数预测、坐标映射、像素采集三大部分，可以插入到现有的CNN模型中。通过对数据进行反向空间变换来消除图片上目标的变形，从而使得分类网络的识别更加简单高效。
在我的理解里，STN是一个可以放置在CNN前面，或嵌入到CNN其中的某一环节的模块（空间变形器）。

2. 问题的提出——CNN的平移不变性

CNN在图像分类中取得了显著的成效，主要是得益于 CNN 的深层结构具有空间不变性（spatially invariance）(平移不变性，旋转不变性)，所以图像上的目标物体就算是做了平移或者旋转，CNN仍然能够准确的识别出来，这对于CNN的泛化能力是有益的。
在这里插入图片描述
传统CNN中使用卷积和池化操作在一定程度上实现了平移不变性,但这种人工设定的变换规则使得网络过分的依赖先验知识,既不能真正实现平移不变性(不变性对于平移的要求很高),又使得CNN对于旋转,扭曲等未人为设定的几何变换缺乏应有的特征不变性。因此提出了STN，具有以下特点：
(1) 为每一个输入提供一种对应的空间变换方式(如仿射变换)
(2) 变换作用于整个特征输入
(3) 变换的方式包括缩放、剪切、旋转

最低0.47元/天 解锁文章
Lilith_99
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
空间变换网络--spatial transform network
u011961856的专栏
09-10 4万+
CNN分类时，通常需要考虑输入样本的局部性、平移不变性、缩小不变性，旋转不变性等，以提高分类的准确度。这些不变性的本质就是图像处理的经典方法，即图像的裁剪、平移、缩放、旋转，而这些方法实际上就是对图像进行空间坐标变换，我们所熟悉的一种空间变换就是仿射变换，图像的仿射变换公式可以表示如下： 式中，(xSource,ySourcex^{Source},y^{Source})表示原图像像素点，(xTar
Python-PyTorch实现包含ThinPlateSplineTPS的空间变换网络STN
08-11
PyTorch implementation of Spatial Transformer Network (STN) with Thin Plate Spline (TPS)
Faster R-CNN：端到端的目标检测网络
最新发布
新缸中之脑
06-03 880
传统的对象检测技术遵循下图给出的 3 个主要步骤。第一步涉及生成多个区域提案。这些区域提案是可能包含对象的候选区域。这些区域的数量通常为几千个，例如 2,000 个或更多。一些生成区域提案的算法的示例是选择性搜索和 EdgeBox。从每个区域提案中，使用各种图像描述符（例如方向梯度直方图 (HOG)）提取固定长度的特征向量。该特征向量对于对象检测器的成功至关重要。即使对象由于某些变换（例如缩放或平移）而发生变化，该向量也应该充分描述对象。然后使用特征向量将每个区域提案分配给背景类或对象类之一。
tensorflow_LPRnet:LPRnet的tensorflow实现。 用于车牌识别的轻量级深度网络
05-04
张量流LPRnet LPRnet的tensorflow实现。 用于车牌识别的轻型深度网络。 多尺度CNN功能 可变长度字符的CTC 没有RNN层 训练 生成板图像进行训练 python gen_plates.py 生成验证图像 python gen_plates.py -s .\valid -n 200 火车 python main.py -m train 或使用运行时生成的图像进行训练 python main.py -m train -r 将为每个SAVE_STEPS步骤保存模型检查点。 将针对每个VALIDATE_EPOCHS时期执行验证。 测试 生成测试图像 python gen_plates.py -s .\test -n 200 恢复检查点进行测试 python main.py -m test -c [checkpioint] 例如 python main.py
空间变形网络——STN
小白不白
12-04 6260
CNN 的机理使得 CNN 在处理图像时可以做到 transition invariant，却没法做到 scaling invariant 和 rotation invariant。即使是现在火热的 transformer 搭建的图像模型 (swin transformer, vision transformer)，也没办法做到这两点。（注：spatial transformer和这两个transformer原理不一样，虽然都叫transformer）因为他们在处理时都会参考图像中物体的相对大小和位置方向。
空间变换网络 Spatial Transformer Networks-STN 详细解读
晨的博客
03-11 3455
空间变换网络（STN）提出了一种神经网络的新颖子结构，能够显著增强网络对于几何变换的鲁棒性。STN通过在传统神经网络架构中嵌入一个可微分的空间变换模块，允许网络自动学习到对输入图像进行最优空间变换的能力。这一过程包含三个关键部分：定位网络（localization network）、网格生成器（grid generator）和采样器（sampler）。定位网络负责预测空间变换的参数；网格生成器根据这些参数创建一个对应变换后的输出图像的坐标网格；采样器则使用这个网格来产生变换后的输出图像。
STN_空间变换网络
Twilight737的博客
08-23 3741
STN_空间变换网络 深度卷积网络虽然已经在很多领域取得了较好的效果，但这些模型依旧十分脆弱。例如，对一幅图像进行平移、旋转和缩放等操作后，会使原有的模型识别准确度下降。这种现象可以理解为深度卷积网络的一个通病，一般可以从两方面入手： 一是样本多样性，数据增强，进行更多的变换，令模型见多识广，可以处理各种角度的图片。 二是样本预处理，一般会采用仿射变换对现有的图片进行修正，令后面的卷积网络专门负责处理调整后的标准图片，使模型训练起来更容易。 空间变换网络（Saptial Transformer Networ
空间变换网络Spatial Transformer Networks（STN）
weixin_50920579的博客
01-31 3066
STN是一个可以加在网络中间的模块，使得网络能够对图像变形有适用性比如加入了这个模块训练出来的模型，就会对变形的物体有一定的识别能力因为模型里包含的参数是对数据进行仿射变换本文提出了一种叫做空间变换网络（Spatial Transform Networks， STN）的网络模型,该网络不需要关键点的标定，能够根据分类或者其它任务自适应地将数据进行空间变换和对齐（包括平移、缩放、旋转以及其它几何变换等）。在输入数据空间差异较大的情况下，这个网络可以加在现有的卷积网络中，提高分类的准确性。
空间变换网络STN参考
lsh呵呵
04-04 1613
空间变换网络Spatial Transformer Networks（STN）模型，可以认为是计算机视觉中的注意力模型。其可以放在神经网络模型输入之后。如下为一些描述和实现。 https://mp.weixin.qq.com/s/KKlmYOduXWqR74W03Kl-9A https://github.com/hello2all/GTSRB_Keras_STN https://github.c...
基于深度卷积神经网络的图像目标检测算法现状研究综述.pdf
09-25
Jaderberg等人提出的空间变换网络（STN），能够自适应地将数据进行空间变换和对齐保持不变性，如今也有将卷积核参数放在神经网络当中一同训练得到一个提取特征能力更强大的卷积核。Alexnet模型在每一层卷积之后，都...
基于空间变换网络的人员行为识别方法.docx
02-23
空间变换网络（STN）是一种深度学习算法，可以用于图像识别、目标检测等领域，该算法可以学习到输入数据的空间变换关系，从而提高模型的泛化能力。在人员行为识别领域，STN 可以学习到惯性测量数据的时间平移、频率...
经典+改进ZFNet网络结构.docx
09-19
- **精简网络**：引入空间变换网络（Spatial Transformer Networks, STN），以减少计算量并提高效率。 ##### 3.2 改进措施 - **多尺度变换**：调整池化层的采样间隔，以适应不同尺度的输入特征。较大的采样间隔会...
使用TensorFlow的Spatial Transformer网络-python源码.zip
05-02
STN广泛应用于各种视觉任务，如图像分类、目标检测、语义分割等，尤其是在处理几何形变和尺度变化问题时。例如： - **图像稳定**：STN可以自动校正图像的运动模糊或者抖动，提高后续处理的准确性。 - **物体识别**...
卷积神经网络研究综述_周飞燕.pdf
04-02
为了优化CNN的性能，研究者们提出了一系列改进模型，如网中网（Network in Network，NiN）增强了模型的表达能力，空间变换网络（Spatial Transformer Network, STN）引入了自适应的几何变换，提升了模型的鲁棒性。...
Spatial Transformer Networks 空间变换网络 详解
张齐贤的博客
08-14 2938
https://blog.csdn.net/zqx951102/article/details/107760893 在这篇论文中，作者用到了STN网络，所以了解了一下： https://www.cnblogs.com/liaohuiqiang/p/9226335.html 这篇链接给出了详细的公式和概念介绍STN网络 为什么提出（Why）： 一个理想中的模型：我们希望鲁棒的图像处理模型具有空间不变性，当目标发生某种转化后，模型依然能给出同样的正确的结果 什么是空间不变性：举例来说，如下图所示，假设一个模型能
PyTorch 进阶学习（二）————STN:空间变换网络（Spatial Transformer Network）
qq_36414085的博客
12-14 5527
文章目录数据集的加载空间变换网络的介绍定义网络训练和测试模型可视化 STN 结果 官方文档地址：https://pytorch.org/tutorials/intermediate/spatial_transformer_tutorial.html 在本教程中，您将学会如何使用 空间变换网络 的视觉注意力机制来扩充网络。如果需要了解更多 空间变换网络 可以在 DeepMind 论文中详细阅读。 空...
【转载】空间变换网络--spatial transform network
xiaoyaolangwj的博客
06-29 961
转载位置：空间变换网络--spatial transform network CNN分类时，通常需要考虑输入样本的局部性、平移不变性、缩小不变性，旋转不变性等，以提高分类的准确度。这些不变性的本质就是图像处理的经典方法，即图像的裁剪、平移、缩放、旋转，而这些方法实际上就是对图像进行空间坐标变换，我们所熟悉的一种空间变换就是仿射变换，图像的仿射变换公式可以表示如下： 式中，(xSource,ySourcexSource,ySource)表示原图像像素点，(xTarget,yTargetxTarget,
空间变换网络（STN）
weixin_43577679的博客
03-16 3080
空间变换网络(Spatial Transformer Network)包括三个组成部分：定位网络(Localisation net)、格点生成器(Grid generator)以及采样器(Sampler)[15] 。其中，定位网络用于参数预测，格点生成器用于坐标映射，采样器用于像素采集。 如图1所示，将特征图U输入空间转换器之后，首先由定位网络采用卷积操作提取特征，进而使用一些隐藏的网络层推理出空间变换的参数θ，随后由格点生成器根据参数θ得到变换前后像素点坐标的对应关系；最终使用采样器以双线性插值的方式，
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值