关于反卷积为何有效的一些思考

最新推荐文章于 2024-04-24 11:52:20 发布
最新推荐文章于 2024-04-24 11:52:20 发布
阅读量461 收藏 1
点赞数

关于反卷积为什么有效的一些思考

Visualizing and Understanding Convolution Networks论文思考记录

序言

Fully convolution network for semantic segmentation以及Learning Deconvolution network for semantic segmentation两篇论文中都涉及反卷积的操作，在阅读完了A guide to convolution arithmetic for deep learning中的反卷积部分后，弄清楚了反卷积的操作过程，然而对为什么反卷积有效依然有很大的疑惑，FCN中简单的使用反卷积进行32倍，16倍，8倍的上采样原理实在诡异，DeconvNet的反卷积也是如此。通过这篇论文我有了一些新的认识。

反卷积实现中间层特征图映射

deconv

作者使用unpooling,rectification,decon将中间层的特征图一步一步映射到原图空间。从操作上来看和DeconvNet没什么区别，作者通过这组操作得到了令人印象深刻的结果，特征图映射后效果如下：

可以发现中间层特征图映射之后确实得到了有用的信息，低层特征映射到原图空间后，发现是一些颜色，边角等信息，再往后出现了一些纹理信息如Layer3,高层特征图如Layer4映射到原图空间后得到了语义很强的信息，如Layer4中的小狗轮廓，Layer5的人脸轮廓等，这些语义性强的高层信息可以很好地表征物体所属的类别，另外，高层特征图提取到的信息不含有背景信息（卷积神经网络不感兴趣的背景被过滤掉了）。作者的可视化结果证明了高层特征图拥有一定重建待识别物体轮廓的能力，也就是说，通过某些操作，高层特征图可以还原物体的位置信息。这在一定程度上证明了语义分割的可行性。

反卷积为什么有效

假设有如下卷积运算：

此时，。
考虑反卷积，反卷积操作等价于：

从此处可以看出，反卷积并不能还原出原始输入，仅仅只是根据卷积核的信息，推算出最可能的激活输入图。
假设卷积核

那么显然x11,x22相对来说是更重要的特征点（3，4相对较大），它们在计算y时会趋向于给出更大的贡献，反卷积正是考虑了这一点，根据卷积核的信息（即计算对应y时的贡献）来反推可能的输入激活图，得到的输入激活图可以反映出相对的激活程度（输入图值越大证明这个点的贡献越高，反卷积认为这个点是最应该激活的，是最重要的特征点，因为只要这个点激活，再结合它的最大贡献，可以更大可能使输出图激活）,这也可以在一定程度上解释为什么FCN使用双线性插值初始化，中间大，四角逐渐减小的卷积核满足贡献关系，越往中心的点越可能与多个输出结果相关，具有更大的贡献度，因此双线性插值初始化是合适的。

分类: 机器学习
0
0
currentDiggType = 0;
« 上一篇： 理解为什么要将全连接层转化为卷积层
posted @ 2018-08-23 19:44 LiuYuZhan 阅读( 22) 评论( 0) 编辑 收藏


Sev6plus1
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习中的卷积与反卷积
luxiaohai学习专栏
12-29 1148
卷积 卷积与矩阵乘法的关系 卷积与反卷积的关系普通的神经网络（全连接网络）：只能处理向量，因而需要把常见的把图像、音频等高维输入数据展开成向量才能输入给神经网络，这大大破坏了数据在空间上的位置信息。卷积和反卷积：使得神经网络能够处理二维以上的数据，因而能够保持数据在空间上的位置信息。另外，权重共享使得网络参数大大减少，从而降低了计算复杂度。卷积首先假设对于卷积，已知： input size i1=
反卷积图像复原算法
07-11
该算法假设退化过程是线性的，且可以表示为卷积操作，图像退化前的状态称为未退化图像。R-L算法的核心迭代公式如下： 其中，f*代表未退化图像的估计，g是退化后的观测图像，h是点扩散函数（PSF），*表示卷积，而^...
颜色反卷积算法（python实现，用于颜色特征分离）
01-31
颜色反卷积算法最早由A. C. Ruifrok and D. A. Johnston在2001年论文Quantification of histochemical staining by color deconvolution中提出（附论文） 本资源来源于此网址，更多算法解释也请参考该网址https://scikit-image.org/docs/dev/auto_examples/color_exposure/plot_ihc_color_separation.html 好好学习，天天向上！
深度探索：机器学习中的反卷积（转置卷积）算法原理及其应用
最新发布
qq_51320133的博客
04-24 1471
反卷积作为卷积神经网络中的重要组成部分，凭借其保持空间信息、参数效率高等特性，在图像生成、超分辨率、语义分割等任务中展现出卓越性能。尽管存在棋盘效应、计算复杂度较高等挑战，但通过改进权值初始化、引入正则化、优化计算方法等手段，已能在一定程度上缓解这些问题。随着深度学习技术的不断发展，反卷积有望在更多领域（如视频处理、医学影像分析等）得到广泛应用，并与新型网络结构（如Transformer、Attention机制）相结合，推动相关领域的技术创新。未来的研究方向可能包括：优化反卷积的计算效率、减少伪影、开发针对
关于反卷积为什么有效的一些思考
weixin_34099526的博客
08-23 237
Visualizing and Understanding Convolution Networks论文思考记录 序言 Fully convolution network for semantic segmentation以及Learning Deconvolution network for semantic segmentation两篇论文中都涉及反卷积的操作，在阅读完了A guide to ...
超分辨率 | 反卷积deconvolution存在的弊端及引起的棋盘效应
程序员深度学习
10-27 2381
1. 棋盘效应 当我们要用到深度学习来生成图像的时候，是往往是基于一个低分辨率且具有高层语义的图像。这会使得深度学习来对这种低分辨率图像进行填充细节。一般来说，为了执行从低分辨率图像到高分辨率图像之间的转换，我们往往要进行deconvolution。简单来说，deconvolution layer可以允许模型通过每一个点进行绘制高分辨率图像上的一个方块，这种情况的产生与deconvolution的stride、kernel size有关。 然而，在使用deconvlution的时候，如果出现kernel.
颜色反卷积算法分析（Colour Deconvolution ）
YoungStar9
09-19 5203
颜色反卷积算法的设计针对RGB摄像机获取的颜色信息，基于免疫组化技术使用的染色剂RGB分量光的特异性吸收，分别计算每种染色剂对图像的作用效果。免疫组织化学图像处理通常用的染色包括DAB、H&E。 颜色反卷积可应用于H-DAB图像和组织病理学中常用的染色剂（H-E,H AEC,FAST Red，DAB），广泛应用于免疫组化染色图像颜色分离。 相关链接：http:/
BDDB.rar.gz_一维反卷积_信号反卷积_卷积 一维_反卷积 matlab
07-14
用于离散信号的盲反卷积，主要针对一维离散信号，可以进行二维扩展。
新建文件夹_反卷积_信号反卷积_
10-01
1. **噪声处理**：实际通信系统中，信号往往伴随着噪声，反卷积算法需要能有效区分信号与噪声，尽可能地去除噪声影响。 2. **信道估计**：通过对反卷积结果的分析，可以估计信道的频率响应、时延分布等参数，这对于...
反卷积_神经网络_神经_反卷积_网络_卷积神经_
10-01
反卷积神经网络（Deconvolutional Neural Network，简称DeconvNet）是一种在深度学习领域广泛应用的模型，特别是在图像处理和计算机视觉任务中。反卷积网络是对卷积神经网络（Convolutional Neural Network，CNN）的...
PyTorch中反卷积的用法详解
01-20
pytorch中的 2D 卷积层 和 2D 反卷积层 函数分别如下： class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, groups=1,...问题1： 两个函数的参数为什么几乎一致呢？ 问题2： 反卷积
彩色编码强度的matlab代码-ColorDeconvolutionMatlab:Ruifrok色彩反卷积算法的Matlab实现
05-23
彩色编码强度的matlab代码MATLAB中的颜色反卷积 背景 颜色反卷积由Ruifrok等人介绍。 在2001年[1]中描述了一种从组织学玻片的RGB图像中提取染色强度的方法。 颜色反卷积被广泛用于组织学中的图像处理，并且有非常有效的Fiji和Python实现（请参见下文，[2]）。 该存储库提供了颜色反卷积的高效Matlab实现。 该代码部分基于中的python实现。 例子 原始图像预览 斐济输出 面板：原始-苏木精-DAB-残留 源图像用苏木精和DAB染色。 第三个通道代表残差，应为空。 在这里，反卷积矩阵的标准值拟合得很好，并且残差很小。 我的代码输出 输出类似于斐济的输出（请注意，通过拉伸直方图可以增强对比度）。 残差的直方图也被拉伸，可以理解，残差本质上是随机噪声，因此它不包含很多信息。 去做 修复反色反卷积函数中的对比度缩放（RecombineStains） 有关颜色反卷积的更多资源 斐济实施说明 python scikit-image实现 斐济实施的深入说明 Antony Chan的另一个Matlab实现（由于两个嵌套的for循环而变慢） Matlab的另一个实现： 参
adaptive_color_deconvolution:论文“Zheng et al., CMPB, 2019”的自适应颜色反卷积
05-31
自适应颜色解卷积 (ACD) ============ 这是基于我们论文中描述的自适应颜色反卷积的组织学图像颜色归一化的实现： Yushan Zheng、Zhiguo Jiang、Haopeng Zhang、Fengying Xie、Jun Shi 和 Chenghai Xue，用于组织学 WSI 归一化的自适应颜色反卷积，生物医学中的计算机方法和程序，v170（2019）第 107-120 页。 要求 TensorFlow（1.3 或更高版本） Python 3.6 麻木 1.14.0 opencv-python 3.4.1 引用 如果您在自己的工作中使用此代码，请引用以下论文： @article{zhengCMPB2019, title = {Adaptive color deconvolution for histological WSI normalizat
笔记：反卷积---对于反卷积的理解
qq_42455922的博客
10-25 639
声明：博主只是一个SR小菜鸟，这篇文章是博主自己的笔记，仅供参考。 刚刚开始学习图像超分辨率的时候，我找了几篇这方面的论文，其中就有超分的开山之作： Learning a Deep Convolutional Network for Image Super-Resolution 论文链接：https://arxiv.org/abs/1501.00092 刚开始我以为这篇文章通过反卷积来将图像的分辨率调高的，但是阅读了文章后发现我错的离谱。 所以我找了一篇关于反卷积的文章来学习。 原文链接：CNN
膨胀卷积的缺点_卷积、反卷积与膨胀卷积
weixin_39640904的博客
12-20 496
卷积(多---->1 的映射)本质：在对输入做9--->1的映射关系时，保持了输出相对于input中的位置性关系对核矩阵做以下变形：卷积核的滑动步骤变成了卷积核矩阵的扩增卷积的矩阵乘法变成以下形式：核矩阵重排，输入featuremap变形为向量反卷积(1---->多 的映射)deconvlution/transpose-convlution动机想要网络去学出一种最优的上采样方法,...
深度学习与神经网络之 反卷积/转置卷积 (deconvolution/transposed convolution/fractional strided convolution) (upsample)
hxxjxw的博客
08-14 1736
我们说的 deconvolution 反卷积 transposed convolution 转置卷积 fractional strided convolution 都是同一个概念 大家可能对于反卷积的认识有一个误区，以为通过反卷积就可以获取到经过卷积之前的图片，实际上通过反卷积操作并不能还原出卷积之前的图片，只能还原出卷积之前图片的尺寸。那么到底反卷积有什么作用呢？通过反卷积可以用来可视化卷积的过程，反卷积在GAN等领域中有着大量的应用。 向量和矩阵做点积 卷积的正向传...
【论文阅读】U-Net论文详解
想当咸鱼的猫
12-27 3374
U-Net论文详解 U-Net结构由一个用于捕获上下文信息的压缩路径和一个支持精确定位的对称扩展路径构成。实验结果表明可以从很少的图像进行端到端的训练，并在ISBI挑战上优于先前最优的方法(滑动窗口卷积网络)，并获得了冠军 1. 背景介绍 卷积网络的典型应用是分类任务，其中图像的输出是一个单一的类标签。然而在许多视觉任务中，特别是生物医学图像处理中，期望的输出应该包含定位，即给每一个像素点分配一个类标签。 于是滑动窗口卷积网络通过提供像素点周围的局部区域来预测每个像素的类别标签。但是这样的方法存在两个缺
反卷积的缺陷
qq_38334671的博客
12-14 997
https://distill.pub/2016/deconv-checkerboard/
反卷积的作用
Asber的博客
01-06 6864
经常在别人的网络结构看到反卷积的存在，我们知道卷积池化的作用是提取高维特征，但是反卷积的作用只能说出类似于利用学习的方法把图像细节还原，类似超分的作用，那到底是什么作用呢？ 这里整理网上有用的参考： 反卷积又称转置卷积： 信息来源：知乎 来还原feature map的尺寸大小，用于还原之前一系列卷积操作之后特征图分辨率变小的问题 CNN可视化 fcn中达到pixel classification...
反卷积为什么要进行填充
05-27
反卷积操作是卷积的逆操作，它可以将低维的特征图还原成高维的特征图，从而实现图像重建、分割等任务。反卷积操作通常会涉及到填充操作，其主要作用是增加输出特征图的尺寸。在反卷积中，我们需要将输入的特征图通过...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值