Spatial Transformer Networks 论文详解及代码

最新推荐文章于 2023-12-07 09:08:20 发布
最新推荐文章于 2023-12-07 09:08:20 发布
阅读量961 收藏 5
点赞数
分类专栏： 笔记 文章标签： tensorflow 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42577742/article/details/110132612
版权

Spatial transformer networks

背景

卷积神经网络在多种图像类中的任务表现出色，但有些图像类的任务需要对图像进行几何变换，需要实现一种可微的网络，使能对卷积网络中的特征图或寻常的图像（都是矩阵，没有数学上的区别）进行几何变换。

论文解析

在这里插入图片描述

以U表示输入(特征图或寻常的图像），V表示输出（转换后的特征图或寻常的图像）。三步策略

  1. Localisation Newwork
    一个自定义的回归网络。其输入为U，输出为变换所需要的参数 θ \theta θ。如仿射变换的输出即为6维。

  2. Parameterised Sampling Grid
    在这里插入图片描述

    这一步进行几何变换，不过是对输出坐标进行几何变换,得到输入的坐标；
    以2D的仿射变换为例， x i s , y i s x_i^s, y_i^s xis​,yis​为输入的网格坐标， x i t , y i t x_i^t, y_i^t xit​,yit​为变换后的网格坐标；
    这是图像领域常用的方案，是为了避免输出出现空洞和重叠。

  3. Differentiable Image Sampling
    这一步的核心是为了采样（插值）。
    第二步生成的坐标可能不在网格顶点上，需要将这些坐标采样到网格顶点上。
    在这里插入图片描述
    V i c V_i^c Vic​为输出的网格中 i i i的幅值，H为网格的高，W为网格的宽， U n m c U_{nm}^c Unmc​为输入的幅值。
    这是利用核对网格进行卷积进行采样的同意数学表达，不同的采样方式对应不同的数学公式。且理论上任意的卷积核都可以使用。

代码

github质量较高的代码：实现了 2D的仿射变换，双线性插值。不包含参数回归网络。
https://github.com/kevinzakka/spatial-transformer-network.git

即插即用篇 | YOLOv10 引入 Contextual Trans 注意力机制 | 《Contextual Transformer Networks for Visual Recognition》
YOLOv8项目贡献者
08-18 127
即插即用篇 | YOLOv10 引入 Contextual Trans 注意力机制 | 《Contextual Transformer Networks for Visual Recognition》
ViTDet原理与代码实例讲解：基于视觉transformer的目标检测模型
AI天才研究院
09-26 1452
solutionViTDet（Vision Transformer for Detection）是一种基于视觉transformer的目标检测模型，它将transformer架构应用于计算机视觉任务中的目标检测领域。传统的目标检测模型通常基于卷积神经网络（CNN），而ViTDet通过引入transformer的自注意力机制，旨在提高检测的准确性和灵活性。Transformer在自然语言处理领域的成功应用Vision Transformer (ViT) 在图像分类任务上的突破性进展。
Spatial Transformer Networks 论文笔记
Cyiano的博客
10-27 1513
Spatial Transformer Networks 论文笔记简介 Spatial Transformer Networks和BN一样相当于一个小插件，放在卷积网络中，其主要目的是对齐网络的每个输入。比如MNIST的手写数字识别，如果有一个图像中的数字有一定角度倾斜或偏移，Spatial Transformer可以对输入图像进行仿射变换，让CNN真正的输入变成对齐后的数字图像。 网络 网络结
STN 代码（Spatial Transformer Networks）
weixin_47414581的博客
12-07 758
在神经网络中，偏置项是模型的可学习参数之一，用于在激活函数之前添加一个常数偏移。# 这个向量的前两个元素是a和b，中间两个元素是c和d，最后两个元素是tx和ty。# a 和 d 是缩放因子，b 和 c 是旋转因子，tx 和 ty 是平移因子。# 在这个特定的矩阵中，它被初始化为一个单位矩阵，即无缩放、无旋转、无平移。# 定义一个初始值为 [1, 0, 0, 0, 1, 0] 的偏置项.将创建一个输出特征映射，该输出特征映射是输入特征映射的仿射变换。请注意，对输入的每个通道进行相同的采样。
Spatial Transformer Networks(STN)-代码实现
Paul_Huang的专栏
11-18 6077
Spatial Transformer Networks(STN)-代码实现 pytorch为了方便实现STN，里面封装了affine_grid和grid_sample两个高级API。 STN的基本步骤是： Localisation  net\color{blue}Localisation\;netLocalisationnet(参数预测)： Localisation net模块通过CNNCNNCNN提取图像的特征来预测变换矩阵θ\thetaθ Grid  generator\color{
附代码 Spatial Transformer Networks（STN）
weixin_44543648的博客
12-12 3034
Spatial Transformer Networks（STN）： 显式将空间变换植入到网络当中，通过网络的方法实现网络的旋转、平移、尺度等不变性。
Spatial Transformer Networks
donggui8650的博客
09-05 227
看了很多博客，说实话都写的不行。这里Mark一下大神kevinzakka写的教程博客： https://kevinzakka.github.io/2017/01/10/stn-part1/ https://kevinzakka.github.io/2017/01/18/stn-part2/ 另外大神自己也使用TensorFlow复现了STN的源码： https://gith...
详细解读Spatial Transformer Networks（STN）-一篇文章让你完全理解STN了
热门推荐
多元思考力
12-22 11万+
目录 STN的作用 1.1 灵感来源 1.2 什么是STN？ STN的基本架构 Localisation net是如何实现参数的选取的？ 3.1 实现平移 3.2 实现缩放 3.3 实现旋转 3.4 实现剪切 3.5 小结 Grid generator实现像素点坐标的对应关系 4.1 为什么会有坐标的问题？ 4.2 仿射变换关系 Sampler实现坐标求解的可微性 5.1 小数
对CNN和Transformer注意力机制的汇总以及注意的具体计算和概念详解，可以作为汇报使用
02-07
- **Squeeze-and-Excitation Networks (SE)**：通过全局平均池化获取全局信息，然后通过两个全连接层（降维和升维）学习通道之间的依赖关系，生成特征权重用于调整原始特征图。 - **Convolutional Block Attention ...
注意力机制详解系列（三）：空间注意力机制
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-28 2万+
本篇为注意力机制系列第三篇，主要介绍注意力机制中的空间注意力机制，着重详解DCN、Non-local、ViT、DETR等模型，下一篇将对混合注意力机制和时域注意力机制进行讲解。
2016-Spatial Transformer Networks理解
01-17
http://blog.csdn.net/chamie/article/details/78979171
Spatial-Transformer-Networks_pytorch:空间变压器网络。 请参阅daviddaospatial-transformer-tensorflow
05-14
Tpatial-Transformer-Networks-pytorch 请参阅 （Tensorflow）。 。 陈述 做的杂乱MNIST数据集的实验 。 准确性和损失记录可在cnn.out和stn.out中找到。 转换img可以在transform_img /中找到。 py35_pytorch03_version包含旧版本代码 环境 python3.6 火炬0.4.0 准确性 有线电视新闻网 测试：时代[195/200]损失：0.5264 acc：0.9211 测试：时期[196/200]损失：0.5185 acc：0.9194 测试：纪元[197/200]损失：0.5160 acc：0.9158 测试：时期[198/200]损失：0.5053 acc：0.9183 测试：时期[199/200]损失：0.5057 acc：0.9153 STN 测试：时期[195/
Paper Reading：Spatial Transformer Networks（with code explanation）
l691899397的博客
12-14 3998
原文：Spatial Transformer Networks前言：卷积神经网络（CNN）已经可以构建出一个强大的分类模型，但它仍然缺乏能力来应对输入数据的空间变换，。这篇文章提出了一种叫做空间变换网络（Spatial Transform Networks， STN）的模型，它能自动学习变换参数，对上一层的图像进行处理，在一定程度上自适应实现这些变换，从而实现对空间变换的不变性。
内涵：STN(spatial transformer network)论文与源码理解
算法工程师进阶之路
05-13 3657
近期对2015年的一篇较为经典的论文"spatial transformer networks(stn)"进行了研究。本博文是stn阅读心得的记录。在第二小节中，会描述stn的实现细节，包括三大组成构件：localisation network, Grid generator, Sampler。在第三小节中会通过跟踪stn源码（pytorch版本）来验证自己的理解。在第四部分作为扩展部分，会尝试从数学角度研究STN的可导性。
理解Spatial Transformer Network
SIGAI_CSDN的博客
08-10 7841
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 概述 随着深度学习的不断发展,卷积神经网络(CNN)作为计算机视觉领域的杀手锏,在几乎所有视觉相关任务中都展现出了超越传统机器学习算法甚至超越人类的能力。一系列CNN-based网络在classificati...
通俗易懂的Spatial Transformer Networks(STN)(二)
修炼之路
01-17 4521
导读 上一篇通俗易懂的Spatial Transformer Networks(STN)(一)中，我们详细介绍了STN中会使用到的几个模块，并且用pytorch和numpy来实现了他们，这篇文章我们将会利用pytorch来实现一个MNIST的手写数字识别并且将STN模块插入到CNN中 STN关键点解读 STN有一个最大的特点就是STN模块能够很容易的嵌入到CNN中，只需要进行非常小的修改即可。上一篇文章我们也说了STN拥有平移、旋转、剪切、缩放等不变性，而这一特点主要是依赖θ\thetaθ参数来实现的。刚开
李宏毅机器学习【深度学习】（15）【Spatial Transformer Layer】
lance～crazy
08-03 536
#spatial transformer layer why CNN is not invariant to scaling and rotation. can also tranform feature map how to transform an image/feature map image transformation Expansion, Compression, Translation rotation Problem 不能gradient descent interpola
空间变化层 spatial transformer layer
heavenpeien的博客
04-11 1378
图像的仿射变换公式可以表示如下一般情况下将空间变换层置于卷及神经网络模型中间（卷积或者池化层后面）conv->maxpool->conv->maxpool->conv->maxpool->dense(1000)->dense(6)------>st--->省略                                           ...
论文阅读《Spatial Transformer Networks》
zzchust的专栏
11-09 5922
STN module inserted to CNN without any extra training feature maps learn invariance to translation, scale, rotation, and more generic warping
Spatial transformer networks 代码
最新发布
10-15
Spatial Transformer Networks (STNs)是一种用于计算机视觉领域的深度学习模型，它允许神经网络在处理图像数据时拥有一定程度的空间变换能力，如旋转、缩放和平移。这种灵活性使得它们能够更好地适应输入空间的变化，常用于图像校正、物体检测等任务。 STN的核心组成部分包括三个部分： 1. **特征提取模块**：通常基于卷积神经网络（CNN），负责提取输入图像的基础特征。 2. **坐标变换模块**：包含两个部分：参数预测网络（Parameter Network）学习如何生成变换参数，以及扭曲层（Grid Generator），根据这些参数调整特征图的位置和大小。 3. **归一化并反卷积**：通过应用学到的变换，将特征图重新调整到原始尺寸，并与原始图像拼接起来，形成增强后的输入。 下面是一个简单的PyTorch实现STN的伪代码示例： ```python import torch import torch.nn as nn class STN(nn.Module): def __init__(self, input_channels, output_channels): super(STN, self).__init__() # 参数预测网络 self.param_net = nn.Sequential( nn.Linear(input_channels, 6), # 预测3个平移参数和3个旋转参数 nn.ReLU(), nn.Linear(6, output_channels * output_channels) ) # 扭曲层 self.grid_generator = GridGenerator(output_channels) def forward(self, x): # 提取特征并扁平化 features = self.feature_extractor(x) params = self.param_net(features) # 根据参数计算新的网格 grid = self.grid_generator(params) # 应用空间变换 transformed_x = F.grid_sample(x, grid) return transformed_x, params # 网格生成器函数省略，实际项目中会自定义 def grid_generator(params): # 实现生成grid的过程 pass ``` 注意，这只是一个简化的例子，实际应用中需要更复杂的网络结构和详细的训练过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值