降采样-升采样

47 篇文章 3 订阅
41 篇文章 10 订阅

降采样

深度卷积神经网络中降采样的方法:

  • stride大于1的pooling
  • stride大于1的conv
  • stride大于1的reorg(reorganization改组整顿),由Joseph Redmond在YOLOv2中首次提出。

conv

用stride=2的conv降采样的卷积神经网络效果与使用pooling降采样的卷积神经网络效果相当;卷积神经网络小的时候,使用pooling降采样效果可能更好,卷积神经网络大的时候,使用stride=2的conv降采样效果更好。

pooling

pooling提供了一种非线性,这种非线性需要较深的conv叠加才能实现,因此当网络比较浅的时候,pooling有一定优势;但是当网络很深的时候,多层叠加的conv可以学到pooling所能提供的非线性,甚至能根据训练学习到比pooling更好的非线性,因此当网络比较深的时候,不使用pooling没多大关系,甚至更好。

pooling的非线性是固定的,不可学习的,这种非线性其实就是一种先验。

reorg

reorg降采样的优势在于能够较好的保留低层次的信息,pooling和conv的降采样方式,好处是抽取的特征具有更强的语义性,坏处是会丢失一些细节信息。reorg方式与pooling和conv方式相反,它提取的特征语义性不强,但是能保留大量细节信息。所以当既需要降采样,又需要不丢失细节信息的时候,reorg是一个非常合适的选择。

为了增强模型的效果,都会融合低层和高层的信息,这样融合后的特征既具有高层特征的抽象语意信息,又具有低层特征的细节信息。而低层特征feature map比高层特征feature map大,为了融合,需要将高层特征feature map放大到跟低层特征feature map一样大,放大feature map的过程就是升采样(upsample)过程。

升采样(上采样)

UnPooling

UnPooling操作与MaxPooling操作是对应的,在MaxPooling时记录每一个保留元素的位置,在UnPooling时将元素在之前保留的位置填充,其余位置补0即可。
在这里插入图片描述

UpSampling

插值方式包括最近邻(nearest-neighbor)插值、双线性插值(bilinear)、双立方插值(bicubic)。

  • nearest-neighbor
    最近邻插值,是指将目标图像中的点,对应到源图像中后,找到最相邻的整数点,作为插值后的输出。如下图所示,P为目标图像对应到源图像中的点,Q11、Q12、Q21、Q22是P点周围的4个整数点,Q12与P距离最近,因此P点的值等于Q12的值。由于图像中像素具有邻域相关性,因此,用这种方法会产生明显的锯齿。
    在这里插入图片描述

  • bilinear interpolation
    双线性插值使用周围4个点插值得到输出,双向性插值,是指在xy方向上,都是基于线性距离来插值的,如上图所示,目标图像中的一个点对应到源图像中点P(x,y),先在x方向上插值:
    在这里插入图片描述
    然后,进行y方向插值:
    在这里插入图片描述
    可以验证,先进行y方向插值再进行x方向插值,结果也是一样的。双线性插值在单个方向上是线性的,但对整福图像来说是非线性的。

  • bicubic
    在这里插入图片描述
    双三次曲线插值方法计算量较大,但后的图像效果最好。

  • 各种插值方式的区别与联系
    从nearest interpolation、bilinear interpolation到bicubic interpolation,插值所利用的信息越来越多,feature map越来越平滑,但是同时计算量也越来越大,nearest interpolation、bilinear interpolation、bicubic interpolation的区别与联系可见下图所示,其中黑色的点为预测值,其他彩色点为周围已知值,用来计算预测值。
    在这里插入图片描述

反卷积

卷积操作是将大的特征图经过卷积核的遍历之后变成小的特征图(无padding的情况下)。反卷积操作是先将小的特征图通过一定的插值方式变为大的特征图,再进行正常卷积。
在这里插入图片描述

  • stride=1
    等价于stride=1的conv,只是padding的方式不同,不能起到升采样的作用。以一维的数据为例,示意图如下,中间的步骤是将卷积转换为矩阵乘法的过程。
    在这里插入图片描述

  • stride>1
    能起到升采样的作用,一般用到的deconv,stride都大于1。以一维的数据为例,示意图如下,中间步骤是将卷积转换为矩阵乘法的过程。
    在这里插入图片描述

  • deconv和插值的区别与联系
    deconv和插值都是通过周围像素点来预测空白像素点的值,区别在于同一个权重由认为预先定义的公式计算,一个通过数据驱动来学习。

参考资料
双三次插值算法(bicubic interpolation)与图形学和计算方法的关系
图像上采样 & 图像处理中常见的插值方法
深度卷积神经网络中的降采样(part2)

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
首先,我们需要导入OpenCV库: ```python import cv2 ``` 然后,我们可以使用`cv2.imread()`函数读取一张图片: ```python img = cv2.imread('image.jpg') ``` 接下来,我们可以使用`cv2.resize()`函数来进行图像分辨率的采样降采样。其中,`cv2.resize()`函数的第一个参数是原始图片,第二个参数是目标图片的大小(可以是宽度和高度的元组或者一个缩放比例因子),第三个参数是插值方法。 例如,我们可以将一张图片的分辨率降低一半: ```python resized_img = cv2.resize(img, (img.shape[1]//2, img.shape[0]//2), interpolation = cv2.INTER_AREA) ``` 或者将一张图片的分辨率提高一倍: ```python resized_img = cv2.resize(img, (img.shape[1]*2, img.shape[0]*2), interpolation = cv2.INTER_CUBIC) ``` 其中,`cv2.INTER_AREA`表示使用平均像素值进行降采样,`cv2.INTER_CUBIC`表示使用三次样条插值进行采样。 最后,我们可以使用`cv2.imshow()`函数来显示结果: ```python cv2.imshow('Original Image', img) cv2.imshow('Resized Image', resized_img) cv2.waitKey(0) cv2.destroyAllWindows() ``` 完整代码如下: ```python import cv2 img = cv2.imread('image.jpg') resized_img = cv2.resize(img, (img.shape[1]//2, img.shape[0]//2), interpolation = cv2.INTER_AREA) #resized_img = cv2.resize(img, (img.shape[1]*2, img.shape[0]*2), interpolation = cv2.INTER_CUBIC) cv2.imshow('Original Image', img) cv2.imshow('Resized Image', resized_img) cv2.waitKey(0) cv2.destroyAllWindows() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值