全连接层的作用_CNN中使用卷积代替全连接

最新推荐文章于 2024-05-19 11:21:31 发布
最新推荐文章于 2024-05-19 11:21:31 发布
阅读量1.2k 收藏 4
点赞数 1
文章标签： 全连接层的作用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39847945/article/details/111375821
版权
本文分析了卷积层与全连接层的关系，指出在适当参数设置下，两者数学上等价。卷积层因其灵活性（不受输入尺寸限制）和高效性（仅需一次前向计算）逐渐替代全连接层。卷积层可以视为大核的卷积，全连接层则可视为稀疏连接。卷积层的优势在于不固定输入分辨率和提高计算效率。
摘要由CSDN通过智能技术生成

船长黑板报所有文章和代码的最新版本均在

Captain1986/CaptainBlackboard​github.com
30d44539513f1c55dadc8413948cac85.png

维护，知乎不做维护

您的Star是对我的鼓励

## 引言

在经典分类网络，比如LeNet、AlexNet中，在前面的卷积层提取特征之后都串联全连接层来做分类。但是近些年来，越来越多的网络，比如SSD，FasterRCNN的RPN，MTCNN中的PNet，都使用卷积层来代替全连接，也一样可以做到目标分类的效果，而且

1. 更灵活，不需要限定输入图像的分辨率；

2. 更高效，只需要做一次前向计算。

本文首先对全连接层和卷积层关系做分析，然后比较全连接层和卷积层的优缺点，自然也就搞清楚了为什么用卷积层替代全连接层这个问题了。

**欢迎探讨，本文持续维护。**

## 实验平台

N/A

## 全连接和卷积的关系

全连接层和卷积层只要设置好了对应的参数，可以在达到相同输入输出的效果，在这个意义上，在数学上可以认为它们是可以相互替换的。

下面我们以输入10 x 10 x 3的特征图，输出10 x 10 x 1的特征图来证明。

### 全连接层是一种核很大的卷积层

全连接层怎么做？

最低0.47元/天 解锁文章
weixin_39847945
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
6. 全连接层与全局平均池化1
08-03
全连接层是传统神经网络架构中的一个重要组成部分，尤其在卷积神经网络（CNN）中，它常被用于将卷积层提取的特征转换为分类输出。全连接层的每个神经元都与前一层的所有神经元相连，这使得它可以学习复杂的非线性...
卷积层代替全连接层
时光机 °的博客
08-01 1万+
为什么卷积层可以“代替”全连接层？   卷积和全连接的区别大致在于：卷积是局部连接，计算局部信息；全连接是全局连接，计算全局信息。（但二者都是采用的点积运算）   但如果卷积核的kernel_size和输入feature maps的size一样，那么相当于该卷积核计算了全部feature maps的信息，则相当于是一个kernel_size∗1kernel_size∗1kernel\_size...
卷积层(FCN)替换全连接层(FC)的意义
热门推荐
帅的发光发亮的博客
05-07 2万+
1.卷积层替换全连接层的可行性： 卷积层是局部连接，它的特点是稀疏连接和权值共享；而全连接层使用了图像的全局信息，每个神经元都与上一层的所有神经元相连接。 “最大的局部”和“全局”这两个概念其实是等价的，因此卷积层替换全连接层是可行的。 2.全连接层到卷积层的转换： 下图显示了AlexNet卷积化的过程，假设执行特征提取的卷积层的最后一层输出为256×7×7，得到后面的4096个神经元；那么改为用7×7的卷积核对该256×7×7的输出特征图做卷积，也可以获得4096×1×1的向量。由于卷积核大小和输入的特征
卷积神经网络（CNN）自学笔记1：全连接层
最新发布
yuyu_297的博客
05-19 3696
全连接层（fully connected layers，FC）是神经网络的一种基本层类型，通常位于网络的最后几层，用于分类任务的输出层。全连接层的主要特点是每一个神经元与前一层的每一个神经元都相连接，这意味着每个输入都影响每个输出。在全连接层中，输入向量通过一个权重矩阵进行线性变换，然后加上一个偏置项，最后通过激活函数（如ReLU、Sigmoid、Tanh等）进行非线性变换。公式表达：其中，为输出向量，为激活函数，为权重矩阵，为偏置向量。
目标检测-SSD300
weixin_43391596的博客
11-15 1382
目标检测300笔记
神经网络改进方案：全局平均池化替代全连接层
weixin_44438120的博客
11-18 1万+
基本原理 全局平均池化英文名为：global average pooling简称为GAP 其具体实现过程在原文 << Network In Network >> 中为： 可以看出其是将矩阵中的 [w,h] ,进行平均池化变为一个单元。也即进行Flattrn和FC。其详细原理的图形示例可参考下图： 其实也就是通过池化层将原有的输入为 [b,c,h,w] 减少成 [b,c,1,1] 的尺寸也即上文提到的将 [w,h] 进行平均池化变为一个单元。 与FC层区别 在常见的卷积神经网络中
卷积神经网络在分类层用卷积层代替全连接层的好处（附代码演示）
Amigo_1997的博客
02-25 6047
先说一下结论： 好处：可以让同一个训练batch中的图像大小的不一样，全连接层则必须输入图像的大小固定。 分析过程： 全连接层—代码演示具体操作 假设batch-size是1，最后的卷积层输出大小是5X5，通道数是512的话，如果接全连接层的话，就需要先reshape成一维的，这里的dim=12800（5X5X512），这里全连接层的权重矩阵大小就固定为了[12800,256]（全连接...
基于ResNet50和Cifar10数据集的全卷积图像识别分类源码+项目说明(Jupyter Notebook运行).zip
01-11
根据全连接的目的，我们完全可以利用卷积层代替全连接层，在输入端使用 $M\times M$ 大小的卷积核将数据“扁平化处理”，在使用 $1\times 1$ 卷积核对数据进行降维操作，最终卷积核的通道数即是我们预测数据的维度。...
全卷积神经网络仿真与迁移学习.pdf
09-25
为了解决这个问题，文章提出了使用卷积层代替池化层和全连接层的方法，以实现在受限平台使用 CNN 网络的目标。 文章接着讨论了全卷积神经网络在自动驾驶领域中的应用，例如物体检测、图像分类等。同时，文章也讨论...
CNN发展
01-06
AlexNet：12年ImageNet冠军，5个卷积3个全连接，多个小卷积代替单一大卷积；使用ReLU激活函数，解决梯度小数问题；引入dropout避免模型过拟合；最大池化。 ZF-Net：13年ImageNet冠军，只用了一块 GPU 的稠密连接结构...
技术向：一文读懂卷积神经网络
02-02
自今年七月份以来，一直在实验室负责卷积神经网络（ConvolutionalNeuralNetwork，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。...
深度学习基础：1x1的卷积为什么代替全连接
weixin_43507744的博客
05-18 3911
1x1的卷积作用我们肯定很好理解： 跨通道的特征整合 比如：输入的特征是32x64x64（32为通道数），我想要把32个通道的信息进行融合，最后输出8个特征，那我们就可以设计1x1的卷积核为：输入通道：32，输出通道：8。 特征通道的升维和降维 上面的例子也是一个降维的操作，我们把32通道的特征图融合成了8通道的特征图，这样做可以融合不同的特征模式（其本质是增大感受野）。 升维是把特征上升到更高维度，比如，我们设计1x1卷积核为：输入通道：32，输出通道：64，这样可以得到更多的特征模式。 减少卷积
全连接层与卷积层替换的原因
qq_20979341的博客
08-17 1830
参考：https://zhuanlan.zhihu.com/p/33841176 out = （in+2p-k）/s+1 “SAME” 考虑下图： 现有一feature map：7X7X512，当其与相同尺寸的核进行卷积时就相当于矩阵的点积，结果是一个值。所以 当filter1设置为7X7X512时，结果实际就是512个点积的和，而4096个7X7X512进行卷积，就可得到1X4096。 为啥要用卷积代替全卷积（全连接层）呢? 以下摘自：https://blog.csdn.net/ARYAD/artic
全连接与卷积
keyanxiaocaicai的专栏
05-18 334
用卷积代替全连接有以下优点： 1. 更灵活，不需要限定输入图像的分辨率；- 这个怎么理解是测试阶段的不需要限定输入的分辨率还是训练阶段也不需要限制输入的分辨率？ 为什么我觉得其实是都需要？我认为不能做到不需要限制图像的分辨率，比如我的图像是224的和图像是256的那么，到达全连接层前面一层的结果是不一样的对吧 比如我如果使用224的输入，那么alxnet输入到全连接层前面一层的结果是 7x7x512 如果我的输入尺寸比这个尺寸大，那么我得到的结果理论上比这个数值大更具...
Ubuntu下tensorflow深度学习——mnist手写字体识别
qq_44137560的博客
10-03 484
1、Tensorflow的 基础概念： （1）计算图（grap）：tensorflow是一个基于计算图的数值计算系统，计算图是一个有向图，图中的节点代表数学操作计算中的节点（op），结点之间连接的边代表参与计算的高维数组数据，叫做tensor,计算图的执行可以看作tensor按照图的拓扑顺序，从输入节点逐步流过所有中间节点，最后流到输出节点的过程，tensorflow名称由此而来。Tensorflow计算图如图所示。 （2）张量（tensor）：这一术语源于力学，在物理和数学中都有重要作用，在tensor
使用卷积层替代全连接层（VGG16网络，keras）
zh_JNU的博客
12-16 1万+
    前段时间校招面试的问题有一个就是如何使用卷积层来替代全连接层。以前没有认真考虑过，所以第一时间的想法是1×1的卷积核去实现。后来仔细想一想，1×1卷积核并不能实现这样的功能，涉及到参数共享。昨天，看到PixelLink文字定位网络，该网络使用了VGG网络的全连接层。所以就想着今天使用keras实现下VGG16网络卷积层替换全连接层。参数还是依然使用预训练参数，最后保存参数。查看对比.h5文...
全连接层和卷积层相互转换
butiful1的博客
03-15 2068
全连接层和卷积层实际上是可以相互转换的 1、卷积层替换全连接层的可行性 *、卷积层是局部连接 *、它的特点是稀疏连接和权值共享， *、全连接是全局信息 2、全连接层到卷积层的转换 、卷积核大小和输入特征图尺寸相同 、保证卷积后运算结果和之前全连接是一样的 转换方法： 通常这种做法是用全局池化（global_pool）和1X1的卷积核实现的，全局池化是不需要设置filter，无论特征图多大都只保留一个。假设batch-size是1，最后的卷积层输出大小是5X5，通道数是512，那么接一个全局池化后卷积层的输出
卷积代替全连接_卷积层（1）
weixin_35057804的博客
01-16 367
CNN网络基础结构神经网络-全连接层(1)神经网络-全连接层(2)神经网络-全连接层(3)本系列之前关于神经网络的文章！卷积层(1)前面聊了3期全连接层，下面先扔下它，看看卷积神经网络的另外一个重量级组成部分——卷积层。关于卷积层的具体计算方式在这里就不多说了，和全连接层类似，由线性部分和非线性部分组成，一会儿直接看代码就好。关于卷积层的计算方法，现在一般来说大家的实现方式都是用“相关”...
从头学pytorch(十四):lenet
java梦工厂
01-07 220
卷积神经网络 在之前的文章里,对28 X 28的图像,我们是通过把它展开为长度为784的一维向量,然后送进全连接层,训练出一个分类模型.这样做主要有两个问题 图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。 对于大尺寸的输入图像，使用全连接层容易造成模型过大。假设输入是高和宽均为1000像素的彩色照片（含3个通道）。即使全连接层输出个数仍是256，该层权重...
卷积神经网络中的全连接层
05-24
卷积神经网络（Convolutional Neural Networks，简称CNN）通常由卷积层、池化层和全连接层三部分组成。其中，卷积层和池化层主要用于提取特征，而全连接层则用于将提取出的特征进行分类或回归。 全连接层是指网络中的每个神经元都与上一层的所有神经元相连，即每个神经元的输出都会作为下一层所有神经元的输入。在CNN中，全连接层通常位于卷积层和池化层之后，起到将卷积层和池化层提取的特征进行分类或回归的作用。 全连接层的参数量非常大，因为每个神经元都需要与上一层的所有神经元相连，而且每个神经元都需要有自己的权重和偏置。因此，全连接层的计算量也非常大，容易导致过拟合问题。 为了避免过拟合问题，CNN通常采用dropout和正则化等方法对全连接层进行优化。此外，也可以通过降低全连接层的神经元个数或使用卷积层代替全连接层来进一步优化CNN的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值