【AI知识点】反向传播（Backpropagation）

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】

---

反向传播（Backpropagation） 是训练神经网络的核心算法，它通过反向逐层计算损失函数对每个权重的梯度，来反向逐层更新网络的权重，从而最小化损失函数。

---

一、反向传播的基本概念

1. 前向传播（Forward Propagation）

在前向传播中，输入数据从输入层通过隐藏层传递到输出层。网络通过层与层之间的连接（即权重）来计算每个节点的输出，最终生成网络的预测结果。

2. 计算损失（Compute Loss）

将网络的预测输出与真实值进行比较，计算损失函数（如均方误差），用来衡量网络的预测输出与真实值的差距。

3. 反向传播（Backward Propagation）

反向传播的过程主要由链式法则驱动。它通过逐层计算误差对权重的偏导数（梯度），从输出层反向传递到隐藏层，再传递到输入层（与前向传播顺序相反），以反向更新每层的权重，减少预测误差。

• 前向传播相当于将输入数据从输入层逐步传递到输出层，得到预测结果。
• 反向传播相当于从输出层开始反向传递误差，更新每一层的权重，使得网络在下次预测时能够减少误差。

4. 权重更新（Weights Update）

使用优化算法（如梯度下降）根据梯度更新权重。使得下一次前向传播时损失函数值减小。

---

二、反向传播的数学推导

对于一个简单的神经网络，损失函数 $L$ 是关于网络输出 $y$ 和真实值 $t$ 的函数，而网络输出 $y$ 又是关于输入 $x$ 和权重 $w$ 的函数。

通过链式法则，损失函数对权重的梯度可以表示为：

$$\frac{\partial L}{\partial w}=\frac{\partial L}{\partial y}\cdot \frac{\partial y}{\partial w}$$

---

三、反向传播的图示

图片来源：https://ai.stackexchange.com/questions/31566/different-ways-to-calculate-backpropagation-derivatives-any-difference

• 前向传播（蓝色箭头）负责计算输出预测值（Out）和误差（Err）。
• 反向传播（绿色和红色箭头）从输出误差（Err）开始，将误差逐层传播到隐藏层（$a$）和输入层（X），计算每个权重（W）的梯度，用于后续的权重更新。

---

四、反向传播的简单计算示例

假设我们有一个简单的两层神经网络：

• 输入层（x）：一个节点，输入值为 $x$。
• 隐藏层（a）：一个节点，激活函数为 Sigmoid 函数。
• 输出层（y）：一个节点，激活函数为线性函数，输出值为 $y$。

网络的权重：

• 输入层到隐藏层的权重：$w_1$。
• 隐藏层到输出层的权重：$w_2$。

给定以下初始条件：

• 输入 $x=1$。
• 目标输出 $t=0$。
• 初始权重 $w_1=0.5$，$w_2=0.5$。
• 学习率 $\eta =0.1$。

---

步骤1：前向传播

1. 计算隐藏层的输入和输出

$$z=w_1\cdot x=0.5\cdot 1=0.5$$

隐藏层的激活输出（使用 Sigmoid 函数）：

a = σ ( z ) = 1 1 + e − z = 1 1 + e − 0.5 ≈ 0.6225 a = \sigma(z) = \frac{1}{1 + e^{-z}} = \frac{1}{1 + e^{-0.5}} \approx 0.6225 a=σ(z)=