全连接层那些事（Fully Connected Layer）

程序员行者孙

已于 2024-04-17 15:41:30 修改

阅读量7.1w

点赞数 23

分类专栏：深度学习文章标签：深度学习人工智能神经网络 cnn

于 2024-03-14 08:30:00 首次发布

本文链接：https://blog.csdn.net/festaw/article/details/136684115

版权

深度学习专栏收录该内容

5 篇文章

订阅专栏

本文介绍了深度学习中的全连接层，其在神经网络中的作用，如特征整合、非线性映射和参数优化。同时，讨论了Dropout层如何作为正则化手段防止过拟合，通过示例代码展示了这两种层的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

什么是全连接层？

全连接层（Fully Connected Layer），也称为密集连接层（Dense Layer），是深度学习神经网络中的一种基本层类型。全连接层的每个神经元都与前一层的所有神经元相连接，每个连接都有一个权重用于调节信息传递的强度，并且每个神经元还有一个偏置项。

哪里会用到全连接层

全连接层通常出现在卷积神经网络（CNN）或多层感知器（MLP）等网络结构的末尾。它负责将前面层中提取到的特征映射转换为最终的输出。在分类任务中，全连接层的输出通常与类别数量相对应，用于输出每个类别的概率分布或类别得分。

全连接层的作用包括：

特征整合： 将前面层提取到的特征整合到最终的表示中，以便进行分类、回归或其他任务。
非线性映射： 全连接层通常会在特征整合后应用非线性激活函数，如ReLU、sigmoid或tanh，以增加网络的表达能力。
参数调节： 全连接层的权重和偏置项是可以学习的参数，通过反向传播算法进行优化，以使网络能够更好地拟合训练数据。
输出预测： 在分类任务中，全连接层的输出用于预测输入属于各个类别的概率分布，或者直接输出类别得分。

全连接层的引入使得神经网络能够对前面层提取到的特征进行更复杂的整合和转换，从而提高了模型的表达能力和性能。

示例代码

import numpy as np

class FullyConnectedLayer:
    def __init__(self, input_size, output_size):
        self.input_size = input_size
        self.output_size = output_size
        # 随机初始化权重和偏置
        self.weights = np.random.randn(input_size, output_size)
        self.biases = np.random.randn(output_size)

    def forward(self, input_data):
        # 计算全连接层的前向传播
        return np.dot(input_data, self.weights) + self.biases

# 测试全连接层
if __name__ == "__main__":
    # 创建输入数据
    input_data = np.random.randn(2, 3)  # 输入大小为2，样本数为3

    # 创建全连接层对象，输入大小为3，输出大小为4
    fc_layer = FullyConnectedLayer(input_size=3, output_size=4)

    # 进行前向传播
    output_data = fc_layer.forward(input_data)

    # 输出全连接层的输出
    print("全连接层的输出：")
    print(output_data)

Dropout 层的作用

Dropout 层可以在全连接层中起到正则化的作用,从而优化全连接层的性能。全连接层的参数量较大,容易产生过拟合现象,而 Dropout 层通过随机失活部分神经元的输出,减少神经元之间的相关性,降低模型对于某些特定神经元的依赖性,提高模型的泛化能力,减少过拟合风险。如图所示,是在全连接层网络中加入了 Dropout 层之后的效果。

示例代码：

import numpy as np

class DropoutLayer:
    def __init__(self, dropout_rate):
        self.dropout_rate = dropout_rate
        self.mask = None

    def forward(self, input_data, training=True):
        if training:
            # 训练模式下，生成 dropout 掩码
            self.mask = (np.random.rand(*input_data.shape) >= self.dropout_rate) / (1.0 - self.dropout_rate)
            # 应用 dropout 掩码
            output_data = input_data * self.mask
        else:
            # 测试模式下，不应用 dropout，直接返回输入数据
            output_data = input_data
        return output_data

# 测试 Dropout 层
if __name__ == "__main__":
    # 创建输入数据
    input_data = np.random.randn(2, 3)  # 输入大小为2，样本数为3

    # 创建 Dropout 层对象，设置 dropout 比率为0.2
    dropout_layer = DropoutLayer(dropout_rate=0.2)

    # 进行前向传播，训练模式
    output_data_train = dropout_layer.forward(input_data, training=True)

    # 进行前向传播，测试模式
    output_data_test = dropout_layer.forward(input_data, training=False)

    # 输出结果
    print("训练模式下的输出：")
    print(output_data_train)
    print("\n测试模式下的输出：")
    print(output_data_test)