全连接层

1、将前一层输出的二维特征图综合起来转化为一维向量,它的每一个节点都与上一层的每个节点连接

2、全连接层的主要作用是将输入图像在经过卷积和池化操作后提取的特征进行压缩,并且根据压缩的特征完成模型的分类功能;在整个卷积神经网络中起到“分类器”的作用,如果说卷积层、池化层和激活函数等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的特征表示映射到样本的标记空间的作用。

3、全连接层实现过程:对前层是全连接的全连接层可以转换为卷积核为1*1的卷积;而前层是卷积层的全连接层可以转换为卷积核为前层卷积输出结果的高和宽一样大小的全局卷积。

image.png

最后的两列小圆球就是两个全连接层。在经过若干卷积和池化之后,会输出20个12x12的矩阵E,这代表用了20个神经元,每个神经元都对这张图进行了一次次卷积,并且每个神经元最后输出的12x12的矩阵都代表了这个神经元对该图片的一个特征的理解,接下来到了全连接层,输出一个1x100的矩阵,其实就是有100个20x12x12的卷积核(卷积核的大小和池化层的输出规模是一样的,所以得到的是20个数相加后的一个数)卷积出来的,对于输入的每一张图,用了一个和图像一样大小尺寸的核卷积,这样整幅图就变成了一个数,因为厚度是20,所以对20个核卷积完了之后再相加求和得到一个数,一共是100个卷积核,所以得到100个数。每个数代表一个高度提纯的特征

最后在经过一个分类器(也是一个全连接层)对这些特征再进行一次计算(降维),将其中的某几个特征进行组合,得到属于各个类别的概率。

参考:

https://www.cnblogs.com/MrSaver/p/10357334.html

https://blog.csdn.net/v_road/article/details/89343769

缺点

参数量过大,特别是与最有一个卷积层(池化层)相连的全连接层,如图就需要 100 * 20 * 12 * 12个参数。参数量过大会导致训练速度降低,容易过拟合。

  • 3
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在PyTorch中,前馈全连接层是**构建神经网络的基本组件之一**。以下是有关PyTorch前馈全连接层的详细介绍: 1. **定义**:前馈全连接层(Feed-Forward Linear Layer)是由多个神经元组成的层,其中每个神经元都与前一层的所有神经元相连接。在这种结构中,信息从输入层流向隐藏层,最后流向输出层,过程中没有回路,即不包含任何形式的反馈或循环。 2. **创建**:在PyTorch中,可以通过`torch.nn.Linear`类来创建一个全连接层。这个类接受两个参数:输入特征的数量和输出特征的数量。例如,`nn.Linear(10, 5)`会创建一个接受10个输入特征并输出5个特征的全连接层。 3. **作用**:全连接层的主要作用是进行特征的线性变换。它通过将输入数据与权重矩阵相乘,并添加一个偏置项来进行计算。这种变换可以帮助网络学习输入和输出之间的复杂映射关系。 4. **激活函数**:为了引入非线性特性,通常会在全连接层之后添加激活函数,如ReLU、Sigmoid或Tanh等。这样可以使网络能够捕捉到更加复杂的数据模式。 5. **训练**:在训练过程中,全连接层的权重和偏置会根据反向传播算法和优化器(如SGD、Adam等)来更新,以最小化损失函数,从而提高网络的预测性能。 6. **应用**:前馈全连接层广泛应用于各种类型的神经网络中,无论是用于回归问题还是分类问题,它们都是构建深层网络的基础。 此外,在搭建一个简单的前馈全连接层网络时,通常需要定义网络的架构,包括各层的节点数、激活函数类型等,然后通过数据进行训练,最终得到一个可以用于预测或分类的模型。 总的来说,前馈全连接层神经网络中不可或缺的一部分,它们负责处理信息的传递和转换,是深度学习模型的核心组成部分。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值