卷积神经网络【CNN】--全连接层的原理详细解读

目录

一、全连接层的含义

二、全连接层的基本结构

1.输入层（Input Layer）

2. 隐藏层（Hidden Layer）

3. 输出层（Output Layer）

三、全连接层的参数详解

1.权重参数

2.偏置参数

具体计算

---

一、全连接层的含义

全连接（Fully Connected，FC）在神经网络中的含义是指当前层的每一个神经元都与前一层的所有神经元直接相连。这种连接方式意味着，前一层的输出会被完整地传递给当前层的每一个神经元，并且每个神经元都会根据权重和偏置对这些输入进行加权求和，最后通过激活函数得到输出。

这种结构在神经网络中常用于分类任务的最终决策层，以及在某些情况下作为特征提取器。然而，由于全连接层参数密集，容易导致过拟合，并且计算量较大，因此在设计网络时需要权衡其利弊。

二、全连接层的基本结构

全连接层（Fully Connected Layer，FC）是神经网络中的一种基本结构，主要由输入层、隐藏层和输出层组成。

1.输入层（Input Layer）

输入层是神经网络接收原始数据的入口。在全连接层中，输入层的每个节点代表一个输入特征。

特点：

1）输入层的节点数量由数据的特征维度决定。例如，在处理图像数据时，如果图像大小为32x32像素且为灰度图（即单通道），则输入层的节点数通常为32*32=1024个。

2）对于彩色图像，如果每个像素包含RGB三个颜色通道，则节点数会相应增加。输入层通常不进行任何计算，只是将原始数据传递给隐藏层。

2. 隐藏层（Hidden Layer）

隐藏层位于输入层和输出层之间，是神经网络进行复杂计算和信息处理的核心部分。隐藏层可以有一层或多层，每层包含多个神经元（节点）。

特点：

1）每个隐藏层的神经元都与前一层的所有神经元相连接，这种连接方式使得隐藏层能够捕捉到输入数据中的复杂特征。

2）每个连接都有一个权重值，表示连接的强度。权重值在网络训练过程中通过反向传播算法进行更新，以最小化损失函数。

3）除了权重外，每个神经元还包含一个偏置项（Bias），它可以看作是神经元的激活阈值。偏置项同样在训练过程中进行更新。

3. 输出层（Output Layer）

输出层是神经网络的最后一层，负责输出神经网络的预测结果。输出层的节点数量通常与任务的目标相关。

特点：

1）在分类任务中，输出层的节点数量通常等于类别的数量。每个节点的输出可以解释为输入样本属于该类别的概率（在使用softmax激活函数的情况下）。

2）在回归任务中，输出层可能只有一个节点，直接输出预测值。

三、全连接层的参数详解

1.权重参数

权重参数的初始化对神经网络的训练效果和收敛速度有很大影响。常用的初始化方法包括随机初始化（如均匀分布初始化、正态分布初始化）、Xavier初始化等

1.作用：权重参数用于控制输入特征对输出节点的影响程度。在全连接层中，每个输入节点与每个输出节点之间都有一个独立的权重参数，这些权重参数在训练过程中通过学习得到，以最小化损失函数。

2.数量：权重参数的数量等于输入节点数量乘以输出节点数量。假设输入层有N个节点，输出层有M个节点，则权重参数的数量为N×M。

2.偏置参数

偏置参数的初始化通常较为简单，常见的做法是将它们全部初始化为零或一个非常小的常数（如0.01）。

1.作用：偏置参数用于为输出节点提供一个固定的偏移量，以便在输入特征为零或很小时也能产生非零的输出。偏置参数有助于增加神经网络的灵活性和表达能力。

2.数量：偏置参数的数量等于输出节点的数量。对于上述的N输入、M输出的全连接层，偏置参数的数量为M。

具体计算

y = wx + b

其中：

y：表示输出向量，即全连接层的输出结果。

w：表示权重矩阵（Weight Matrix），它包含了从输入层到输出层之间的连接权重。权重矩阵的维度取决于输入向量的维度和输出向量的维度。

x：表示输入向量，即全连接层的输入数据。

b：表示偏置向量（Bias Vector），用于调整输出向量的基准值。偏置向量的维度与输出向量的维度相同。