卷积神经网络中的 “全连接层”

最新推荐文章于 2024-09-16 16:01:20 发布
最新推荐文章于 2024-09-16 16:01:20 发布
阅读量5.1w 收藏 604
点赞数 142
分类专栏： 深度学习知识点笔记 文章标签： 卷积神经网络中的 “全连接层”
原文链接：https://zhuanlan.zhihu.com/p/33841176
版权
本文详细介绍了卷积神经网络中的全连接层。全连接层每个节点都与前一层所有节点相连，起到特征整合和分类的作用。通过实例解释了全连接层如何将不同位置的特征映射到固定输出，减少位置影响，并探讨了多层全连接层在处理非线性问题上的优势。全连接层主要用于图像识别等分类任务，提取并组合特征以确定最终类别。
摘要由CSDN通过智能技术生成

文章目录

一、什么是“全连接层”

对 n-1 层和 n 层而言，n-1 层的任意一个节点，都和第 n 层所有节点有连接（即第n层节点都和第n-1层节点相连接）。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。像下面的中间层就是全连接方式
在这里插入图片描述

二、详解

在这里插入图片描述
以上图为例，我们仔细看上图全连接层的结构，全连接层中的每一层是由许多神经元组成的（1x 4096）的平铺结构，上图不明显，我们看下图
在这里插入图片描述
当我第一次看到这个全连接层，我的第一个问题是：
它是怎么样把3x3x5的输出，转换成1x4096的形式？
在这里插入图片描述
很简单,可以理解为在中间做了一个卷积
在这里插入图片描述
从上图我们可以看出，我们用一个 3x3x5 的 filter 去卷积激活函数的输出，得到的结果就是一个fully connected layer 的一个神经元的输出，这个输出就是一个值
因为我们有4096个神经元
我们实际就是用一个3x3x5x4096的卷积层去卷积激活函数的输出

以VGG-16再举个例子：
再VGG-16全连接层中
对224x224x3的输入，最后一层卷积可得输出为7x7x512，如后层是一层含4096个神经元的FC，则可用卷积核为7x7x512x4096的全局卷积来实现这一全连接运算过程。

卷积一个非常重要的作用：就是把分布式特征representation映射到样本标记空间

就是它把特征representation整合到一起，输出为一个值

这样做,有一个什么好处？
就是大大减少特征位置对分类带来的影响
来，让我来举个简单的例子
在这里插入图片描述
从上图我们可以看出，猫在不同的位置，输出的feature值相同，但是位置不同

对于电脑来说，特征值相同，但是特征值位置不同，那分类结果也可能不一样

而这时全连接层filter的作用就相当于

喵在哪我不管，我只要喵，于是我让filter去把这个喵找到

实际就是把 feature map 整合成一个值

这个值大，哦，有喵，这个值小，那就可能没喵，和这个喵在哪关系不大了有没有
因为空间结构特性被忽略了，所以全连接层不适合用于在方位上找Pattern的任务，比如segmentation
ok, 我们突然发现全连接层有两层1x4096fully connected layer平铺结构(有些网络结构有一层的，或者二层以上的)

好吧也不是突然发现，我只是想增加一点戏剧效果
在这里插入图片描述
但是大部分是两层以上呢

这是为啥子呢

泰勒公式都知道吧：意思就是用多项式函数去拟合光滑函数

我们这里的全连接层中一层的一个神经元就可以看成一个多项式

我们用许多神经元去拟合数据分布

但是只用一层fully connected layer 有时候没法解决非线性问题

而如果有两层或以上fully connected layer就可以很好地解决非线性问题了

说了这么多，我猜你应该懂的

听不懂？

那我换个方式给你讲

我们都知道，全连接层之前的作用是提取特征

全理解层的作用是分类

我们现在的任务是去区别一图片是不是猫
在这里插入图片描述
在这里插入图片描述
因为全连接层的作用主要就是实现分类（Classification）
在这里插入图片描述
红色的神经元表示这个特征被找到了（激活了）

同一层的其他神经元，要么猫的特征不明显，要么没找到

当我们把这些找到的特征组合在一起，发现最符合要求的是猫

ok，我认为这是猫了

那我们现在往前走一层

那们现在要对子特征分类，也就是对猫头，猫尾巴，猫腿等进行分类

比如我们现在要把猫头找出来
在这里插入图片描述
猫头有这么些个特征

于是我们下一步的任务

就是把猫头的这么些子特征找到，比如眼睛啊，耳朵啊
在这里插入图片描述
道理和区别猫一样

当我们找到这些特征，神经元就被激活了（上图红色圆圈）

这细节特征又是怎么来的？

就是从前面的卷积层，下采样层来的

南淮北安
关注
专栏目录
订阅专栏
深度学习基础：卷积神经网络与全连接层
AI天才研究院
07-24 667
深度学习基础：卷积神经网络与全连接层 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：深度学习，卷积神经网络，全连接层，图像识别，机器学习 1. 背景介绍
卷积神经网络中的全连接层
简简单单
02-28 1973
卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层） 在上一篇博客中（https://blog.csdn.net/yql_617540298/article/details/104542823），已经将卷积神经网络中的卷积层、池化层知识点进行了...
卷积神经网络--全连接层
weixin_45698190的博客
10-10 1万+
CNN 入门讲解：什么是全连接层（Fully Connected Layer）? 我们讲到激活函数（Activation Function）,假设我们经过一个Relu之后的输出如下 Relu: 然后开始到达全连接层 以上图为例，我们仔细看上图全连接层的结构，全连接层中的每一层是由许多神经元组成的（1x 4096）的平铺结构，上图不明显，我们看下图 注：上图和我们要做的下面运算无联系 并且不考虑激活函数和bias 当我第一次看到这个全连接层，我的第一个问题是： 它是怎么样把3x3x5的输出，转换成1x.
18. 线性层 -- 全连接层
最新发布
m0_57190127的博客
09-16 700
卷积神经网络(CNN)中全连接层(FC layer)的作用
Talk is cheap, show me the code!
06-03 3万+
前言 一般来说，卷积神经网络会有三种类型的隐藏层——卷积层、池化层、全连接层。卷积层和池化层比较好理解，主要很多教程也会解释。 卷积层(Convolutional layer)主要是用一个采样器从输入数据中采集关键数据内容； 池化层(Pooling layer)则是对卷积层结果的压缩得到更加重要的特征，同时还能有效控制过拟合。 但是可怜的全连接层(Fully Connected laye...
图文—神经网络组成（卷积层、池化层、全链接层、激活函数）与发展史（LeNet、AlexNet、VGG、ResNet、GAN）
Mr_DaYang的博客
09-16 6162
目录单个神经元的构成卷积网的发展史2018—GAN 生成式对抗网络深度卷积生成对抗网络 单个神经元的构成 一个神经元接收多方输入的特征值，然后分别对特征值进行相应的加权求和，以及加上偏置量，最后通过非线性函数变换得到输出结果。多个简单的神经元之间相互连接就组成了一套完整的神经网络系统。 由于输入的特征包含许多干扰因素，所以我们将低维空间映射到高维空间，将线性不可变的部分变成线性可分即激活函数的方式降低干扰因素。为了降低无关因素所对应的权值和增大具有差异性特征的权值，我们根据输出结果计算误差，反向修改各个
卷积神经网络（CNN）自学笔记1：全连接层
yuyu_297的博客
05-19 1万+
全连接层（fully connected layers，FC）是神经网络的一种基本层类型，通常位于网络的最后几层，用于分类任务的输出层。全连接层的主要特点是每一个神经元与前一层的每一个神经元都相连接，这意味着每个输入都影响每个输出。在全连接层中，输入向量通过一个权重矩阵进行线性变换，然后加上一个偏置项，最后通过激活函数（如ReLU、Sigmoid、Tanh等）进行非线性变换。公式表达：其中，为输出向量，为激活函数，为权重矩阵，为偏置向量。
卷积神经网络CNN-全连接层
weixin_58420524的博客
02-08 1万+
卷积神经网络CNN-全连接层，特点、作用、复杂度，全连接层的操作过程详解
卷积神经网络之全连接层
zhf的博客
03-04 6223
大多数内容来源于 ：卷积神经网络中的全连接层 全连接层的作用是： 连接所有的特征，将输出值送给分类器 (如softmax分类器)，其将卷积输出的二维特征图转化成 (N * 1)一维的一个向量。 最后的两列小圆球就是两个全连接层，在最后一层卷积结束后，又进行了一次池化操作，输出了20个 12*12 的图像（20指最后一层的厚度），然后通过了一个全连接层变成了 1*100 的向量（第一个全连接层神...
深入了解卷积神经网络（CNN）中的全连接层
AI_dataloads的博客
09-24 1万+
卷积神经网络（CNN）是深度学习领域中应用广泛的神经网络架构，特别适用于图像识别和计算机视觉任务。在CNN的核心中，有一个重要组件称为全连接层，它在网络的顶部扮演着关键的角色。本文将深入探讨CNN中的全连接层，了解它的作用和重要性。
卷积神经网络—全连接层
v_road的博客
04-16 1万+
卷积神经网络—全连接层 全连接层 全连接层与卷积层 全连接层与GAP（全局平均池化层） [1] https://blog.csdn.net/Touch_Dream/article/details/79775786 [2] https://www.cnblogs.com/zongfa/p/9048680.html [3] https://www.zhihu.com/question/410379...
verilog实现卷积神经网络CNN，包括卷积层，Relu激活层，FC全连接层，pool池化层
04-22
卷积神经网络（CNN）是深度学习领域中的关键模型，特别是在图像识别和处理任务中表现卓越。本项目采用Verilog语言实现了一个完整的CNN框架，涵盖了CNN的四个核心组成部分：卷积层、ReLU激活层、全连接层（FC）以及...
卷积神经网络中的bn层应用
09-20
主要为卷积神经网络中的bn层应用，bn层也是一个数据处理的方式，一般位于非线性激活层之前，全连接层之后，本资源涵盖4个代码，分别为bn层建立，cn层在实例中的应用，bn层测试以及有无bn层的对比，供大家更好地了解...
对于全连接层的理解 全连接层的推导
GoodShot的专栏
02-16 1万+
全连接层的推导全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。全连接层的前向计算下图中连线最密集的2个地方就是全连接层，这很明显的可以看出全连接层的参数的确很多。在前向计算过程，也就是一个线性的加权求和的过程，全连接层的每一个输出都可以看成前一层的每一个结点乘以一个权重系数W，最后加上一个偏置值b得到，即 。如下图中第...
卷积神经网络 全连接层小结
yangkunqiankun的博客
03-29 1万+
    卷积神经网络的卷积层、池化层和激活函数层等作用是将原始数据映射到隐层特征空间中，在卷积神经网络最后部分会有全连接层，全连接层的目的是将网络学习到的特征映射到样本的标记空间中。全连接层会把卷积输出的二维特征图（featureMap）转化成一个一维的向量。这一过程具体实现如下所述：在卷积层之后进行了池化操作，池化层得到30个12*12的特征图，通过全连接层之后，得到了1*100的向量。由于全连...
CNN卷积神经网络代码实现及解析（仅全连接层）
2301_80397661的博客
07-09 2426
CNN卷积神经网络代码实现及解析（仅全连接层），适合0基础，非常详细的学习记录
卷积神经网络【CNN】--全连接层的原理详细解读
m0_71212744的博客
08-19 1775
这种连接方式意味着，前一层的输出会被完整地传递给当前层的每一个神经元，并且每个神经元都会根据权重和偏置对这些输入进行加权求和，最后通过激活函数得到输出。在全连接层中，每个输入节点与每个输出节点之间都有一个独立的权重参数，这些权重参数在训练过程中通过学习得到，以最小化损失函数。全连接层（Fully Connected Layer，FC）是神经网络中的一种基本结构，主要由输入层、隐藏层和输出层组成。1）每个隐藏层的神经元都与前一层的所有神经元相连接，这种连接方式使得隐藏层能够捕捉到输入数据中的复杂特征。
卷积神经网络（ CNN）与全卷积神经网络（FCN）
时间虚掷的孤岛
08-06 1万+
目录 卷积神经网络（CNN） 卷积层 卷积层尺寸的计算原理 标准卷积计算举例 1 x 1 卷积计算举例 全连接层计算举例 附：TensorFlow 中卷积层的简单实现 激励层 池化层 池化层的作用 输出层 VGG的特点： 全卷积网络（FCN） 核心思想 1.卷积化(convolutionalization)  2.上采样(Upsampling) 3.跳跃结构(Sk...
从卷积层、激活层、池化层到全连接层深度解析卷积神经网络的原理
热门推荐
喜欢打酱油的老鸟
02-01 4万+
https://www.toutiao.com/a6609148733269475848/ 2019-01-30 22:32:42 局部连接+权值共享 全连接神经网络需要非常多的计算资源才能支撑它来做反向传播和前向传播，所以说全连接神经网络可以存储非常多的参数，如果你给它的样本如果没有达到它的量级的时候，它可以轻轻松松把你给他的样本全部都记下来，这会出现过拟合的情况。 所以我们应该把...
卷积神经网络的全连接层
04-05
卷积神经网络的全连接层是指在卷积层和池化层之后，将每个特征图的所有像素点连接到一个全连接层，然后再进行分类或回归等任务。全连接层的神经元与上一层的所有神经元都有连接，每个神经元都将上一层的所有输入进行加权求和，然后再通过激活函数进行非线性变换。全连接层的神经元数量通常比较大，以便提取更多的特征信息。 在卷积神经网络中，全连接层通常用于最后的分类或回归任务，以及一些特定的任务中，如图像分割或目标检测等。全连接层的参数数量通常很大，因此在训练时需要花费更多的时间和计算资源。为了避免过拟合，通常会在全连接层之前加入一些正则化方法，如Dropout或L2正则化等。
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值