PyTorch学习笔记 ——上采样和PixelShuffle

最新推荐文章于 2024-04-03 13:39:18 发布
最新推荐文章于 2024-04-03 13:39:18 发布
阅读量6.6k 收藏 51
点赞数 6
分类专栏： 训练心得与Pytorch实践 文章标签： 自动驾驶 计算机视觉 图像处理
原文链接：https://oldpan.me/archives/upsample-convolve-efficient-sub-pixel-convolutional-layers
版权

去年曾经使用过FCN（全卷积神经网络）及其派生Unet，再加上在爱奇艺的时候做过一些超分辨率重建的内容，其中用到了毕业于帝国理工的华人博士Shi Wenzhe（在Twitter任职）发表的PixelShuffle《Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network》的论文。

PyTorch 0.4.1将这些上采样的方式定义为Vision Layers，现在对这4种在PyTorch中的上采样方法进行介绍。

0. 什么是上采样？

上采样，在深度学习框架中，可以简单的理解为 任何可以让你的图像变成更高分辨率的技术。 最简单的方式是重采样和插值：将输入图片input image进行rescale到一个想要的尺寸，而且计算每个点的像素点，使用如双线性插值bilinear等插值方法对其余点进行插值。

Unpooling

Unpooling是在CNN中常用的来表示max pooling的逆操作。这是从2013年纽约大学Matthew D. Zeiler和Rob Fergus发表的《Visualizing and Understanding Convolutional Networks》中引用的：因为max pooling不可逆，因此使用近似的方式来反转得到max pooling操作之前的原始情况：

记住max pooling做的时候的size，比如下图的一个4x4的矩阵，max pooling的size为2x2，stride为2，反卷积操作需要记住最大值的位置，将其余位置至为0就行。

在这里插入图片描述

Deconvolution

Deconvolution(反卷积)在CNN中常用于表示一种反向卷积 ，但它并不是一个完全符合数学规定的反卷积操作。 与Unpooling不同，使用反卷积来对图像进行上采样是可以习得的。通常用来对卷积层的结果进行上采样，使其回到原始图片的分辨率。反卷积也被称为分数步长卷积(convolution with fractional strides)或者转置卷积(transpose convolution)或者后向卷积backwards strided convolution。
真正的反卷积如wikipedia里面所说，但是不会有人在实际的CNN结构中使用它。

torch

1. Vision Layer

在PyTorch中，上采样的层被封装在torch.nn中的Vision Layers里面，一共有4种：

① PixelShuffle
② Upsample
③ UpsamplingNearest2d
④ UpsamplingBilinear2d

下面，将对其分别进行说明

1.1 PixelShuffle

正常情况下，卷积操作会使feature map的高和宽变小。
但当我们的 s t r i d e = 1 r ​ < 1 stride=\frac{1}{r} ​<1 stride=r1​​<1 时，可以让卷积后的feature map的高和宽变大——即分辨率增大，这个新的操作叫做sub-pixel convolution，具体原理可以看PixelShuffle《Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network 》的论文。

在这里插入图片描述

pixelshuffle算法的实现流程如上图，其实现的功能是：将一个H × W的低分辨率输入图像（Low Resolution），通过Sub-pixel操作将其变为rH x rW的高分辨率图像（High Resolution）。

但是其实现过程不是直接通过插值等方式产生这个高分辨率图像，而是通过卷积先得到 r 2 r^2 r2个通道的特征图（特征图大小和输入低分辨率图像一致），然后通过周期筛选（periodic shuffing）的方法得到这个高分辨率的图像，其中 r为上采样因子（upscaling factor），也就是图像的扩大倍率。

定义

该类定义如下：

class torch.nn.PixleShuffle(upscale_factor)

这里的upscale_factor就是放大的倍数，数据类型为int。
以四维输入(N,C,H,W)为例，Pixelshuffle会将为(∗, r 2 C r^2C r2C,H,W)的Tensor给reshape成(∗,C,rH,rW)的Tensor。形式化地说，它的输入输出的shape如下：

输入: (N,C x upscale_factor 2 ^2 2,H,W)
输出: (N,C,H x upscale_factor,W x upscale_factor)

例子

>>> ps = nn.PixelShuffle(3)
>>> input = torch.tensor(1, 9, 4, 4)
>>> output = ps(input)
>>> print(output.size())
torch.Size([1, 1, 12, 12])

怎么样，是不是看起来挺简单的？我将在最后完整的介绍一下
1）转置卷积
2）sub-pixel 卷积
3）反卷积以及pixelshuffle这几个知识点。

1.2 Upsample

1.2 Upsample（新版本中推荐使用torch.nn.functional.interpolate）

对给定多通道的1维（temporal）、2维（spatial）、3维（volumetric）数据进行上采样。

  • 对volumetric输入（3维——点云数据），输入数据Tensor格式为5维：minibatch x channels x depth x height x width
  • 对spatial输入（2维——jpg、png等数据），输入数据Tensor格式为4维：minibatch x channels x height x width
  • 对temporal输入（1维——向量数据），输入数据Tensor格式为3维：minibatch x channels x width

此算法支持最近邻，线性插值，双线性插值，三次线性插值对3维、4维、5维的输入Tensor分别进行上采样（Upsample）。
定义

该类定义如下：

class torch.nn.Upsample(size=None, scale_factor=None, mode='nearest', align_corners=None)

其中：

  • size 是要输出的尺寸，数据类型为tuple： ([optional D_out], [optional H_out], W_out)
  • scale_factor 在高度、宽度和深度上面的放大倍数。数据类型既可以是int——表明高度、宽度、深度都扩大同一倍数；亦或是tuple——指定高度、宽度、深度的扩大倍数。
  • mode 上采样的方法，包括最近邻（nearest），线性插值（linear），双线性插值（bilinear），三次线性插值（trilinear），默认是最近邻（nearest）。
  • align_corners 如果设为True，输入图像和输出图像角点的像素将会被对齐（aligned），这只在mode = linear, bilinear, or trilinear才有效，默认为False。

例子

>>> input = torch.arange(1, 5).view(1, 1, 2, 2).float()
>>> input
tensor([[[[ 1.,  2.],
          [ 3.,  4.]]]])

>>> m = nn.Upsample(scale_factor=2, mode='nearest')
>>> m(input)
tensor([[[[ 1.,  1.,  2.,  2.],
          [ 1.,  1.,  2.,  2.],
          [ 3.,  3.,  4.,  4.],
          [ 3.,  3.,  4.,  4.]]]])

>>> m = nn.Upsample(scale_factor=2, mode='bilinear')  # align_corners=False
>>> m(input)
tensor([[[[ 1.0000,  1.2500,  1.7500,  2.0000],
          [ 1.5000,  1.7500,  2.2500,  2.5000],
          [ 2.5000,  2.7500,  3.2500,  3.5000],
          [ 3.0000,  3.2500,  3.7500,  4.0000]]]])

>>> m = nn.Upsample(scale_factor=2, mode='bilinear', align_corners=True)
>>> m(input)
tensor([[[[ 1.0000,  1.3333,  1.6667,  2.0000],
          [ 1.6667,  2.0000,  2.3333,  2.6667],
          [ 2.3333,  2.6667,  3.0000,  3.3333],
          [ 3.0000,  3.3333,  3.6667,  4.0000]]]])

>>> # Try scaling the same data in a larger tensor
>>>
>>> input_3x3 = torch.zeros(3, 3).view(1, 1, 3, 3)
>>> input_3x3[:, :, :2, :2].copy_(input)
tensor([[[[ 1.,  2.],
          [ 3.,  4.]]]])
>>> input_3x3
tensor([[[[ 1.,  2.,  0.],
          [ 3.,  4.,  0.],
          [ 0.,  0.,  0.]]]])

>>> m = nn.Upsample(scale_factor=2, mode='bilinear')  # align_corners=False
>>> # Notice that values in top left corner are the same with the small input (except at boundary)
>>> m(input_3x3)
tensor([[[[ 1.0000,  1.2500,  1.7500,  1.5000,  0.5000,  0.0000],
          [ 1.5000,  1.7500,  2.2500,  1.8750,  0.6250,  0.0000],
          [ 2.5000,  2.7500,  3.2500,  2.6250,  0.8750,  0.0000],
          [ 2.2500,  2.4375,  2.8125,  2.2500,  0.7500,  0.0000],
          [ 0.7500,  0.8125,  0.9375,  0.7500,  0.2500,  0.0000],
          [ 0.0000,  0.0000,  0.0000,  0.0000,  0.0000,  0.0000]]]])

>>> m = nn.Upsample(scale_factor=2, mode='bilinear', align_corners=True)
>>> # Notice that values in top left corner are now changed
>>> m(input_3x3)
tensor([[[[ 1.0000,  1.4000,  1.8000,  1.6000,  0.8000,  0.0000],
          [ 1.8000,  2.2000,  2.6000,  2.2400,  1.1200,  0.0000],
          [ 2.6000,  3.0000,  3.4000,  2.8800,  1.4400,  0.0000],
          [ 2.4000,  2.7200,  3.0400,  2.5600,  1.2800,  0.0000],
          [ 1.2000,  1.3600,  1.5200,  1.2800,  0.6400,  0.0000],
          [ 0.0000,  0.0000,  0.0000,  0.0000,  0.0000,  0.0000]]]])

1.3 UpsamplingNearest2d

本质上其实就是对jpg、png等格式图像数据的Upsample(mode=‘nearest’)。
定义

 class torch.nn.UpsamplingNearest2d(size=None, scale_factor=None)

在这里插入图片描述
例子

>>> input = torch.arange(1, 5).view(1, 1, 2, 2)
>>> input
tensor([[[[ 1.,  2.],
          [ 3.,  4.]]]])

>>> m = nn.UpsamplingNearest2d(scale_factor=2)
>>> m(input)
tensor([[[[ 1.,  1.,  2.,  2.],
          [ 1.,  1.,  2.,  2.],
          [ 3.,  3.,  4.,  4.],
          [ 3.,  3.,  4.,  4.]]]])

1.4 UpsamplingBilinear2d

跟1.3类似，本质上其实就是对jpg、png等格式图像数据的Upsample(mode=‘bilinear’)。
定义

class torch.nn.UpsamplingBilinear2d(size=None, scale_factor=None)
在这里插入图片描述

>>> input = torch.arange(1, 5).view(1, 1, 2, 2)
>>> input
tensor([[[[ 1.,  2.],
          [ 3.,  4.]]]])

>>> m = nn.UpsamplingBilinear2d(scale_factor=2)
>>> m(input)
tensor([[[[ 1.0000,  1.3333,  1.6667,  2.0000],
          [ 1.6667,  2.0000,  2.3333,  2.6667],
          [ 2.3333,  2.6667,  3.0000,  3.3333],
          [ 3.0000,  3.3333,  3.6667,  4.0000]]]])

1.5 Sub-piexl convolution

这篇文章介Is the deconvolution layer the same as a convolutional layer论文中提出的一种结合上升采样upsample和卷积操作的的一种方法，称之为Sub-piexl convolution。

这种方法作用于低分率图像得然后通过其操作得到高分辨率图像，其实说白了就是上升采样，我们之前做过的maxpooling、average-pooling和transposed-convolution都有类似的效果，也就是将一个尺寸较小的图像通过算法使之变为尺寸较大的图像，如下图。

在这里插入图片描述

相比于其他的上升采样操作，本文介绍的这个算法在相同运算速度下，不仅具有比maxpooling和averagepooling有对位置的记忆功能，而且相比Transposed convolution具有精度更高的优点。

思想描述

文章将这个算法描述为：LR network，即低分辨卷积网络。

文章拿来与之作对比的是HR network，高分辨卷积网络，一般HR network是现将低分辨力的图像进行二次插值变换后然后对变换后的图像再进行卷积网络。像HR network是先将图像进行upsample后才进行卷积，而文中的这个算法操作则是在upsample的过程中对图像就进行了卷积。

在这里插入图片描述
这个算法的实现流程如上图，举个例子，实现的功能就是将一个1×1的image通过Sub-pixel操作将其变为 r 2 r^2 r2的高分辨率图像，但是这个实现过程不是直接产生这个高分辨率图像而是先得到 r 2 r^2 r2个通道特征图然后通过周期筛选（periodic shuffing）得到这个高分辨率的图像，其中r为upscaling factor，也就是图像扩大倍率。

知识铺垫

在说明这个具体的算法流程之前，我们先对几个知识回顾一下：

Transposed convolution and sub-pixel convolution layers(转置卷积与子像素卷积层)

在这里插入图片描述

上图是一个简单的1D的卷积网络，x为输入y为输出，通过滤波器f来实现这个过程，x的size为8，f为4，y为5，x中灰色的方块表示用0进行padding。在f权重中的灰色方块代表f中某些值与x中的0进行了相乘。这个图就是1D卷积的过程，从x到y。

在这里插入图片描述

上图左面是一个转置卷积（stride为2），右面是sub-pixel convolution（stride为1/2），作用在1D上。

通过观察可以很容易的看到左边x为5，y为8，f为4，y中灰色部分代表被截去的部分，而右边通过对x进行部分 取值达到 过滤效果。通过比较两个卷积方法可以发现：如果把右边的fliter进行reverse（倒转），会发现两边得到的y值相同（自己可以试着加一下）。也就是说在参数（filter中权重值）可以学习的情况下，右边的操作和左边的操作完全相同。

Deconvolution layer vs Convolution in LR

接下来我们展示的是：在LR space中用一个简单的卷积参数为 ( o ∗ r ∗ r , i , k , k ) (o* r* r, i,k,k) (o∗r∗r,i,k,k)-(输出通道，输入通道，kernel width，kernel height)的卷积操作。

和deconvolution，其中卷积参数为( ( o , i , k ∗ r , k ∗ r ) ， k 为 正 数 (o, i ,k * r,k * r)，k为正数 (o,i,k∗r,k∗r)，k为正数)的作用是相同的。

我们用2D来进行演示，input为（1，4，4），kernel为（1，1，4，4），假设我们upsample的比率为2，我们要得到（1，8，8）的输出。

在这里插入图片描述
如上图，我们首先通过fractional indices从原input中创建一个sub-pixel图像，其中白色的像素就是原input中的像素（在LR sapce中），灰色是通过zero padding而来的。

在这里插入图片描述
用一个（1，1，4，4）的卷积核来和刚才生成的sub-pixel图像进行卷积，首先发现卷积核和sub-pixel图像中非零的像素进行了第一次有效卷积（图中紫色像素代表被激活的权重），然后我们将sub-pixels整体向右移动一格，让卷积核在进行一次卷积，会发现卷积核中蓝色的像素权重被激活，同理绿色和红色（注意这里是中间的那个8×8的sub-pixel图像中的白色像素点进行移动，而每次卷积的方式都相同）。

在这里插入图片描述
最后我们输出得到HR图像，HR图像和sub-pixel图像的大小是一致的，我们将其涂上颜色，颜色代表这个卷积核中权重和sub-pixel图像中哪个像素点进行了卷积（也就是哪个权重对对应的像素进行了贡献）。

在这里插入图片描述
需要注意的是，这是一个（1，1，4，4）的卷积核，上面每个权重皆为独立地被激活，也就是说我们可以轻易地将其分成（4，1，2，2）的卷积核（如上图）。这个操作是可逆的因为每个卷及权重在操作过程中都是独立的

在这里插入图片描述

这样，这里不适用（1，1，4，4）的卷积核，而是使用（4，1，2，2）的卷积核，，对sub-pixel图像直接在LR space中进行卷及操作（如上图）。再将得到的（4，4，4）的输出进行周期筛选（periodic shuffling）将其reshape为HR image。

在这里插入图片描述

这个图片展示了将左面图像上方的（9，32，3，3）卷积层转化为底部的（1，32，9，9）卷积层，转化过程正如右方所示。也就是说，上方的卷积层对一个32通道的图像进行卷积然后周期筛选后得到的图像和使用下方的卷积层进行反卷积(deconvolution)得到的结果相同。

这个卷积操作是很灵活的，看一下之前的1D的卷积操作，可以将滤波器f=（1，2，3，4）更换为f1=(2,4)以及f2=（1，3），然后产生y1 = f1 * x和y2 = f2 * 2其中代表卷积操作。通过对y1和y2进行组合得到最终的结果y。还记得上面谈说过：
“在LR space中用一个简单的卷积参数为(o r* r,i,k,k)-(输出通道，输入通道，kernel width，kernel height)的卷积操作，和deconvolution，其中卷积参数为（(o,i,k * r,k * r)，k为正数）的作用是相同的。”
这里的f我们一般都以（k* r）来表示，但其实这个f可以为任意值，加入f=（1，2，3），我们就可以分成f=（2），f=（1，3），同样，得到结果组合起来即可。

核心思想以及结论

在这里插入图片描述现在回到最开始说的那个操作，上图是这个算法的整个过程。通过上面的一系列论述，我们可以得到deconvolition layer的操作和在LR中输出 r d r^d rd的convolution操作得到的结果是一样的（d代表维度）。也就是说，得到 r 2 r^2 r2个通道的这个卷积过程和在它之前得到 r 2 r^2 r2个特征图的操作是一样的。

在上面的Hidden convolutional layers中，看倒数第二个layer，有n个feature maps。我们现在可以知道，在LR space中，通过一个放大倍率为2的upsampling去学习表示n feature maps和在HR space中，通过一个n/4个feature maps去表示的效果是一样的。想象在相同运行速度下，一个n=32（LR space），一个n/4=8个feature maps(HR space)，在LR 下的network比在HR network下的表示能力是很强大的。

举个实际的例子，LR network（32 x 32 x 3 x 3 x W/2 x H/2）的复杂度和HR中的（8 x 8 x 6 x 6 x W x H）的复杂度是一样的（W和H代表image的宽和高）。特征图中存留的信息也是一样的：LR（l x 32 x w/2 x h/2）和HR（l x 8 x w x h）,其中l代表layer的数量。接受域来说，在原始input LR space中都是一样的，但是LR network的参数（l x 32 x 32 x 3 x 3）比HR network（l x 8 x 8 x 6 x 6）的多，也就是说，LR中，network的卷积比HR中先对input进行upsample的卷积有很强的表示学习能力。

所以有时候先对原始input进行upsample然后再进行卷积并不好，至少在表示学习能力并没有sub-pixel convolution效果好。

说明

在新版本PyTorch中，这些插值Vision Layer都不推荐使用了，官方的说法是将其放在了torch.nn.functional.interpolate中，用此方法可以更个性化的定制用户的上采样或者下采样的需求。

参考资料：

https://arxiv.org/pdf/1603.07285v1.pdf
https://arxiv.org/abs/1609.07009
https://oldpan.me/archives/upsample-convolve-efficient-sub-pixel-convolutional-layers

Hali_Botebie
关注
  • 6
    点赞
  • 踩
  • 51
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch学习笔记——文本预处理
01-06
文本预处理 1、概述 文本数据：有用内容和无用内容 文章：单词、符号、空格、乱码等 思想：我们需要对无用信息进行过滤，而计算机无法直接处理单词等有用信息，我们需要把他们转换成数字。将单词映射到不同的数字，可以考虑用列表，如data=[‘ni’, ‘hao’]，我们就可以用data[0]，data[1]来表示 单词内容，这就是索引到单词，然后 ‘ni hao’我们可以表示成’01’，这就是单词到索引，通过建立单词与数字的关系来进行互相的映射，这是文本预处理的核心思想 预处理的步骤： 1、读文本（计算机读取） 2、分词（过滤无用信息） 3、建立字典（建立索引到词的映射） 4、词序列转换成索引序列（
Pytorch学习笔记——过拟合、欠拟合及其解决方案
01-20
过拟合、欠拟合及其解决方案 1、预备知识 1.1 模型选择 验证数据集：测试集不可用于模型参数的调试，所以需要从训练数据集中分离出一部分数据作为验证数据集用来调参 1.2 K折交叉验证 目前来说深度学习研究的普遍情况是数据量不够庞大，而我们要把模型数据分成训练集、验证集，这样就会导致训练数据更加少，K折交叉验证可以解决这个问题。算法思想大概是，将训练数据集均分成K个不同子集，第 i 次选取 K[ i ] 作为验证集，其余的 K-1 个数据作为训练集，这样我们就有了K组数据，最后将K次训练误差和验证误差取平均得到模型的训练误差和验证误差 2、过拟合和欠拟合 2.1 概念 过拟合：训练集上的误差小
pytorch学习笔记（十五）————Early Stop，Dropout
01-20
pytorch学习笔记（十五）————Early Stop，Dropout，SGD目录Early StopDropoutSGD随机梯度下降 目录 Early Stop （1）Early Stop的概念 Early Stop的概念非常简单，在我们一般训练中，经常由于过拟合导致在训练集上的效果好，而在测试集上的效果非常差。因此我们可以让训练提前停止，在测试集上达到最好的效果时候就停止训练，而不是等到在训练集上饱和在停止，这个操作就叫做Early Stop。 （2）Early Stop的过程 Dropout （1）Dropout的概念 在2012年，Hinton在其论文《Improving n
pytorch学习笔记（十五）————动量与学习率衰减
01-06
pytorch学习笔记（十五）————动量与学习率衰减目录动量学习率衰减 目录 动量 从形式上看， 动量算法引入了变量 z充当速度角色——它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称 动量（momentum），相当于引入动量前的梯度概念，指示着loss在参数空间下一步要下降的方向和大小。 其中wk+1w^{k+1}wk+1表示更新后权重；wkw^{k}wk表示更新前权重；zk+1z^{k+1}zk+1代表动量，，α表示学习率 从公式zk+1=βzk+▽f(wk)z^{k+1}=βz^{k}+▽f(w^{k})zk+1=βzk+▽f(wk)可以看出，zk+1z^{
pytorch的 F.pixel_unshuffle函数理解，利用卷积来实现pixel_unshuffle, yolov5中focus操作和pixel_unshuffle是否一样？
最新发布
tony365的博客
04-03 299
b3是yolov5中用到的focus操作，上述代码我用卷积实现了pixel_unshuffle操作， focus操作同理当然也可以利用卷积实现。pixel_unshuffle示意图：和focus不同的是最后的输出的通道排列顺序有差异。结果显示：b = b1 =b2 但是和b3不太一样.
pytorch学习笔记（一）
01-06
文章目录前言tensor1.创建tensor2. 基本属性3. 基本方法4. 运算5. GPU运算自动求导Autograd清空grad阻止autograd跟踪 前言 此为小弟pytorch的学习笔记，希望自己可以坚持下去。（2020/2/17） pytorch官方文档 pytorch中文教程 tensor tensor是pytorch的最基本数据类型，相当于numpy中的ndarray，并且属性和numpy相似，tensor可在GPU上进行运算。 tensor常见的基本属性： 1.创建tensor 通常此类方法都有以下属性，特别注意，区别numpy，一般这里的入口参数size都是数字序列，而
PixelShuffle方法
rocking_struggling的博客
04-12 2万+
原文链接：https://blog.csdn.net/u014636245/article/details/98071626 PixelShuffle是一种上采样方法，可以对缩小后的特征图进行有效的放大。可以替代插值或解卷积的方法实现upscale PixelShuffle PixelShuffle(像素重组)的主要功能是将低分辨的特征图，通过卷积和多通道间的重组得到高分辨率的特征图。这一方法最...
PixelShuffle上采样原理讲解及程序实现
qq_44949041的博客
01-09 6232
PixelShuffle(Sub-Pixel Convolutional Neural Network，像素重组）是一种经典的上采样Upsample方法, torch.nn.PixelShuffle()，可以对缩小后的特征图进行有效的放大操作在，最初在处理图像超分辨率的问题上提出，是目前最优秀的上采样方法。变化公式为：[H,W,C*r*r]->[H*r,W*r,C]
PixelShuffle原理笔记（paper，pytorch实现）
蓝羽飞鸟的博客
03-21 1万+
pixel shuffer是一种图像上采样的方法，参考paper 它在Pytorch中的实现为 torch.nn.PixelShuffer(r) 其中r为上采样倍率。 paper中提到，之前的上采样通过插值把低分辨率（LR）图像转换到高分辨率（HR），然后在HR特征空间处理，得到超分辨率（SR）图像。 paper提出了一种跳过插值转换HR的步骤，直接从LR特征空间转换为SR图像。 它基于的假设是，在很多SR技术中，高频数据是冗余的，因而可以直接由低频部分得到。 网络的前L-1层如下： W是conv2D，
PixelShuffle详解和cuda实现
BigerBang的博客
09-12 4487
1.背景 1.1 PixelShuffle的出处 PixelShuffle这一操作出自论文[https://arxiv.org/abs/1609.05158](Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network), 论文中称为periodic shuffling operator。Pytorch将其实现为 torch.nn.PixleShuffl
【深度学习笔记】亚像素 / sub-pixel、亚像素卷积
学习带来的快乐最持久~
06-20 2万+
近段时间需要用到亚像素卷积的知识，因此上网查阅了论文和资料，此文是根据网上的博文以及相关论文，依据个人的理解整理而来。 总而言之，拾人牙慧而已。 Content1 亚像素的定义1.1 亚像素理解1.2 何谓亚像素？1.3 何谓亚像素精度？2 图像处理中的sub-pixel是什么意思？3 PixelShuffle参考文献 1 亚像素的定义 下面的内容引自1-2 1.1 亚像素理解 在相机成像的过程中，获得的图像数据是将图像进行了离散化的处理，由于感光元件本身的能力限制，到成像面上每个像素只代表附近.
【torch.nn.PixelShuffle】和 【torch.nn.UnpixelShuffle】
zyw2002的博客
08-09 4178
PixelUnshuffle就是PixelShuffle的逆操作。如下图可以看到，PixelShuffle是把输入通道按照缩放因子。PixelShuffle是一种上采样方法，它将形状为。功能： 是PixelShuffle的逆操作，把大小为。输入的第二组（后4个通道）中的元素，每次间隔。，PixelShuffle的 缩放因子是。交错排列，合并成输出的第一个通道维度。交错排列，合并成输出通道的第二个维度。是 0 或者batch大小。的张量重新排列转换为形状为。通道）中的元素，每次间隔。的张量重新排列为大小为。
PyTorch之PixelShuffle
Ton的博客
04-05 1万+
这里介绍一下PyTorch中torch.nn.PixelShuffle()这个层的背景介绍和相关用法。 参考文档： ①PyTorch中的PixelShuffle PixelShuffle层1 背景介绍2 用法简介2.1 实战代码2.2 效果展示 1 背景介绍 PixelShuffle层又名亚像素卷积层，是论文Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural .
低分辨率feature maps的上采样方法：pixelshuffle
qq_38883271的博客
04-29 3030
pixelshuffle是一种对低分辨率特征图上采样的新思路，假设我们打算将H×\times×W×\times×C的特征图在长和宽的维度扩大rrr倍变成rrrH×\times×rrrW×\times×C，pixelshuffle的做法是通过深度为r2r^{2}r2C的卷积对H×\times×W×\times×C的特征图进行卷积操作得到H×\times×W×\times×r2r^{2}r2C的特征图，然后通过“周期洗牌”的方式将H×\times×W×\times×r2r^{2}r2C的特征图编排为rrrH×\
上采样(UnSampling)、上池化(UnPooling)、反卷积(Deconvolution)与PixelShuffle(像素重组)之间的区别简介
修行之路
05-26 624
上采样(UnSampling)、上池化(UnPooling)、反卷积(Deconvolution)与PixelShuffle(像素重组)之间的区别简介
PyTorch学习笔记(10)——上采样和PixelShuffle
热门推荐
g11d111的博客
09-27 10万+
去年曾经使用过FCN（全卷积神经网络）及其派生Unet，再加上在爱奇艺的时候做过一些超分辨率重建的内容，其中用到了毕业于帝国理工的华人博士Shi Wenzhe（在Twitter任职）发表的PixelShuffle《Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional...
【Pytorch】nn.PixelShuffle
weixin_44378835的博客
08-10 2632
PixelShuffle是一种上采样方法
nn.Pixelshuffle的转化规则
qq_39861441的博客
04-03 3162
简单来说，例如nn.Pixelshuffle（2），他会将前4个通道，拼在第一个通道的空间中，然后将接下来4个通道拼在输出的第二个通道的空间中，依次类推，见下面的实验就懂了 实验代码 import torch import torch.nn as nn ps = nn.PixelShuffle(2) c=8 h=4 w=4 input = torch.range(1,c*h*w).view(1,c,h,w) print(input.shape) output = ps(input) print("ou
PyTorch中的PixelShuffle
gdymind的博客
09-04 2万+
感性认识 一般的convolution操作会使feature map变小， 但当我们的stride=1r&amp;lt;1stride=1r&amp;lt;1\text{stride} = \frac{1}{r} &lt; 1时，可以让卷积后的feature map变大，这个新的操作叫做sub-pixel convolution，具体原理可以看Real-Time Single Image and Video Sup...
pytorch学习笔记
07-27
Pytorch是机器学习中的一个重要框架，它与TensorFlow一起被认为是机器学习的两大框架。Pytorch的学习可以从以下几个方面入手： 1. Pytorch基本语法：了解Pytorch的基本语法和操作，包括张量（Tensors）的创建、导入torch库、基本运算等\[2\]。 2. Pytorch中的autograd：了解autograd的概念和使用方法，它是Pytorch中用于自动计算梯度的工具，可以方便地进行反向传播\[2\]。 3. 使用Pytorch构建一个神经网络：学习使用torch.nn库构建神经网络的典型流程，包括定义网络结构、损失函数、反向传播和更新网络参数等\[2\]。 4. 使用Pytorch构建一个分类器：了解如何使用Pytorch构建一个分类器，包括任务和数据介绍、训练分类器的步骤以及在GPU上进行训练等\[2\]。 5. Pytorch的安装：可以通过pip命令安装Pytorch，具体命令为"pip install torch torchvision torchaudio"，这样就可以在Python环境中使用Pytorch了\[3\]。 以上是一些关于Pytorch学习的笔记，希望对你有帮助。如果你需要更详细的学习资料，可以参考引用\[1\]中提到的网上帖子，或者查阅Pytorch官方文档。 #### 引用[.reference_title] - *1* [pytorch自学笔记](https://blog.csdn.net/qq_41597915/article/details/123415393)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Pytorch学习笔记](https://blog.csdn.net/pizm123/article/details/126748381)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值