深度学习-多层感知机

一、感知机：深度学习的 “初代模型” 与它的 “致命局限”

1. 感知机的核心逻辑：模拟神经元的 “简单决策”

1957 年，美国学者 Frank Rosenblatt 提出的 “感知机”，是最早的神经网络模型之一。它的灵感源于生物神经元：接收多个输入信号，通过 “权重” 判断信号重要性，再通过 “偏置” 调整激活难度，最终输出 “0” 或 “1” 的二分类结果。

用数学公式表示感知机的输出：
y = 1，若 b + w₁x₁ + w₂x₂ > 0；否则 y = 0
其中：

• x₁、x₂ 是输入信号（如逻辑电路中的 “0”“1”）；
• w₁、w₂ 是权重（控制输入信号的重要性）；
• b 是偏置（调整神经元被激活的 “门槛”，b 越大越容易输出 1）。

2. 感知机的 “高光时刻”：实现基础逻辑电路

感知机最经典的应用，是模拟 “与门”“或门”“与非门” 等基础逻辑电路，只需调整权重和偏置即可实现：

• 与门（两个输入都为 1 时输出 1）：设权重 w₁=0.5、w₂=0.5，偏置 b=-0.7。此时，只有 x₁=1 且 x₂=1 时，b+w₁x₁+w₂x₂=0.3>0，输出 1；其他情况均输出 0，完美匹配与门逻辑。
• 或门（任意一个输入为 1 时输出 1）：设权重 w₁=0.5、w₂=0.5，偏置 b=-0.3。此时，x₁=1 或 x₂=1 时，计算结果均 > 0，输出 1，符合或门需求。
• 与非门（两个输入都为 1 时输出 0）：只需将与门的权重取反（w₁=-0.5、w₂=-0.5），偏置调整为 0.7，即可实现 “输入全 1 时输出 0，其他输出 1”。

3. 感知机的 “致命局限”：无法解决 “异或问题”

正当人们以为感知机能轻松解决所有逻辑问题时，“异或门” 成了它迈不过的坎。异或门的逻辑是：输入不同时输出 1，输入相同时输出 0，真值表如下：

x₁	x₂	y（异或输出）
0	0	0
1	0	1
0	1	1
1	1	0

尝试为感知机设定权重和偏置，会发现无论如何调整，都无法满足所有输入的输出需求。这背后的核心原因是：感知机只能表示 “线性可分” 的问题—— 它的决策边界是一条直线，而异或问题的样本（在二维平面上）需要用 “曲线” 才能分割（如下图），属于 “线性不可分” 问题。

感知机的局限，本质上是 “单层结构” 和 “阶跃激活函数” 的局限。要解决这个问题，就需要让模型具备 “处理非线性问题” 的能力 —— 多层感知机应运而生。

二、多层感知机（MLP）：给感知机 “加一层”，突破线性局限

1. 多层感知机的核心思路：用 “隐藏层” 构建非线性决策

多层感知机的解决方案很直接：在 “输入层” 和 “输出层” 之间，增加一层或多层 “隐藏层”。隐藏层的作用，是对输入信号进行 “非线性转换”，让原本线性不可分的数据，在转换后的空间中变得可分。

以解决异或问题为例，多层感知机的结构如下：

• 输入层：接收 x₁、x₂两个输入信号；
• 隐藏层：包含两个感知机（h₁、h₂），分别模拟 “与非门” 和 “或门”，对输入进行初步处理；
• 输出层：一个感知机（y），接收隐藏层的输出，模拟 “与门”，最终得到异或结果。

具体计算过程：

1. 隐藏层 h₁（与非门）：w₁₁=-0.5, w₁₂=-0.5, b₁=0.7 → 输出 h₁=1 当且仅当 x₁、x₂不同时为 1；
2. 隐藏层 h₂（或门）：w₂₁=0.5, w₂₂=0.5, b₂=-0.3 → 输出 h₂=1 当且仅当 x₁、x₂至少一个为 1；
3. 输出层 y（与门）：w₃₁=0.5, w₃₂=0.5, b₃=-0.7 → 接收 h₁、h₂的输出，只有当 h₁=1 且 h₂=1 时，y=1，恰好匹配异或逻辑。

通过这一层隐藏层，多层感知机成功用 “线性组件的组合” 实现了非线性决策，完美解决了感知机的 “异或难题”。

2. 多层感知机的通用结构：输入层→隐藏层→输出层

异或问题的解决只需要 “单隐藏层”，而通用的多层感知机可以包含多个隐藏层，结构如下：

• 输入层：接收原始数据的特征（如图像的像素、文本的向量），神经元数量等于特征维度；
• 隐藏层：核心计算层，可设置 1 层或多层，每层包含多个神经元（数量称为 “隐藏层大小”，是需要调试的超参数），负责对输入进行复杂的非线性转换；
• 输出层：根据任务输出结果 —— 二分类任务输出 1 个神经元（配合 sigmoid 激活），多分类任务输出神经元数量等于类别数（配合 softmax 激活），回归任务输出 1 个神经元（无激活函数）。

需要注意的是，多层感知机的每一层（除输入层）都包含两个步骤：

1. 线性计算：对前一层的输出做加权求和（类似感知机的 b + wx）；
2. 激活函数转换：通过非线性激活函数，将线性结果转换为非线性输出，这是模型具备非线性能力的关键。

三、激活函数：让多层感知机 “拥有非线性思维” 的核心

如果没有激活函数，多层感知机的多层线性计算会被 “合并为一层线性计算”（因为线性函数的组合仍是线性函数），无法突破感知机的局限。激活函数的作用，就是在每一层加入 “非线性转换”，让模型能拟合复杂的非线性关系。

1. 激活函数的三大核心要求

为了让模型稳定训练且具备强表达能力，激活函数需要满足：

1. 非线性：这是最核心的要求，否则无法解决非线性问题；
2. 连续可导：保证梯度下降时能计算参数梯度（允许少数点不可导）；
3. 计算简单：避免增加模型训练的复杂度，同时导数值域要适中（避免梯度消失或爆炸）。

2. 常用激活函数及特点

（1）阶跃函数：感知机的 “初代激活”

• 公式：h (x) = 1（x>0），否则 0；
• 特点：非线性，但不连续、不可导，无法用梯度下降优化，仅适用于简单感知机，不适用于多层感知机。

（2）Sigmoid 函数：“平滑版” 阶跃函数

• 公式：h (x) = 1 / (1 + e⁻ˣ)；
• 特点：将输入映射到 (0,1) 区间，输出可解释为 “概率”，适合二分类输出层；但存在 “梯度消失” 问题（输入绝对值过大时，导数趋近于 0，参数难以更新）。

（3）Tanh 函数（双曲正切）：对称版 Sigmoid

• 公式：h (x) = (eˣ - e⁻ˣ) / (eˣ + e⁻ˣ)；
• 特点：将输入映射到 (-1,1) 区间，输出关于原点对称，梯度消失问题比 Sigmoid 轻，但仍存在；适合隐藏层使用。

（4）ReLU 函数（线性修正单元）：现代深度学习的 “宠儿”

• 公式：h (x) = max (0, x)；
• 特点：
  • 优点：计算简单（只需判断输入是否大于 0），在 x>0 时导数为 1，有效缓解梯度消失问题，训练速度快；
  • 缺点：x<0 时导数为 0，可能导致部分神经元 “永久失活”；
• 应用：目前深度学习中最常用的激活函数，广泛用于隐藏层。

3. 激活函数的 “选型技巧”

• 隐藏层：优先选择 ReLU（兼顾效率和性能），若存在神经元失活问题，可改用 Leaky ReLU（x<0 时保留微小梯度）；
• 输出层：
  • 二分类：Sigmoid（输出概率）；
  • 多分类：Softmax（输出各类别概率分布）；
  • 回归任务：无激活函数（直接输出连续值）。

四、多层感知机的 “训练与优化”：从参数更新到避免过拟合

1. 核心训练流程：前向传播 + 反向传播

多层感知机的训练逻辑与线性回归、Softmax 回归一致，核心是 “通过梯度下降最小化损失函数”，具体分为两步：

• 前向传播：输入数据从 “输入层” 流向 “输出层”，计算每个层的输出和最终损失（如分类任务用交叉熵损失，回归任务用平方损失）；
• 反向传播：从 “输出层” 反向计算各层参数（权重 w、偏置 b）的梯度，沿着 “损失减小” 的方向更新参数，反复迭代直到损失收敛。

2. 关键超参数：隐藏层数与隐藏层大小

多层感知机的性能，很大程度上取决于两个超参数：

• 隐藏层数：层数越多，模型越能拟合复杂数据，但训练难度和过拟合风险也越大；初学者建议从 “单隐藏层” 开始，逐步增加；
• 隐藏层大小（每层神经元数量）：数量越多，层的表达能力越强，但计算成本越高；通常根据任务复杂度调整，如简单任务设 10-100 个，复杂任务设 100-1000 个。

3. 模型泛化能力：避免过拟合与欠拟合

训练多层感知机时，很容易出现 “模型在训练数据上表现好，但在新数据上表现差”（过拟合），或 “在训练数据上都表现差”（欠拟合）的问题。

（1）过拟合与欠拟合的本质

• 欠拟合：模型复杂度不足，无法捕捉数据的真实规律（如用线性模型拟合非线性数据）；
• 过拟合：模型复杂度过高，把训练数据中的 “噪声” 当作 “普遍规律”（如死记硬背考试真题，却无法应对新题型）。

（2）常用解决方法

• 欠拟合：增加模型复杂度（增加隐藏层数、隐藏层大小），或增加训练迭代次数；
• 过拟合：
  • 数据层面：增加训练数据量，或对数据做增强（如图像旋转、翻转）；
  • 模型层面：
    • 权重衰减：在损失函数中加入 “权重的 L2 范数”，惩罚过大的权重，防止参数过度复杂；
    • 暂退法（Dropout）：训练时随机 “关闭” 部分神经元，迫使模型不依赖特定神经元，增强泛化能力；
  • 验证层面：使用 “K - 折交叉验证”（将数据分为 K 份，轮流用 1 份验证、K-1 份训练，取平均误差），更可靠地评估模型泛化能力。

五、多层感知机的 “现实意义”：深度学习的 “基石模型”

多层感知机看似简单，但它的核心思想 ——“用多层结构 + 非线性激活实现复杂映射”，是现代深度神经网络的 “灵魂”。无论是 CNN（卷积神经网络）、RNN（循环神经网络），还是 Transformer，本质上都是在 MLP 的基础上，针对特定任务（图像、序列、文本）优化了 “层的连接方式”：

• CNN 用 “卷积层” 替代 MLP 的全连接层，擅长捕捉图像的空间特征；
• RNN 用 “循环连接” 替代 MLP 的单向连接，擅长处理序列数据；
• Transformer 用 “注意力机制” 增强 MLP 的特征交互，实现更灵活的信息捕捉。

可以说，理解了多层感知机，就掌握了深度学习的 “通用语言”。

六、总结：学习多层感知机的 “三个关键认知”

1. 从 “线性到非线性” 的突破：多层感知机的核心价值，是通过 “隐藏层 + 激活函数” 解决了感知机的线性局限，这是深度学习能处理复杂任务的基础；
2. 激活函数的 “决定性作用”：没有非线性激活函数，多层感知机就退化为 “单层线性模型”，选择合适的激活函数（如 ReLU）是模型高效训练的关键；
3. “复杂度平衡” 是永恒主题：训练时需在 “模型复杂度”（隐藏层数、大小）和 “泛化能力”（避免过拟合）之间找到平衡，这是所有深度学习模型的通用挑战。