深度学习课程学习笔记1

1. BP神经网络

BP神经网络是一种常用的人工神经网络，它可以用于分类、回归等任务。其基本原理是通过反向传播算法来训练网络参数，从而实现对输入输出关系的建模。下面简要介绍BP神经网络的基本原理和相关公式。

1.1 神经网络结构

BP神经网络包含输入层、隐藏层和输出层。输入层接收输入数据，隐藏层通过一系列非线性变换将输入数据映射到一个高维空间中，输出层将映射后的数据进行分类或回归。具体来说，每个节点都有一个激活函数，用于将输入信号转换为输出信号。

BP神经网络示意图

1.2 前向传播

在训练过程中，我们需要将输入数据通过神经网络，计算出网络的输出结果。这个过程称为前向传播。具体来说，对于一个输入向量$x$，我们可以通过以下公式计算出网络的输出结果$y$。
$$y=f(w_{out}f(w_{hidden}x))$$
其中，$f$表示激活函数，$w_{hidden}$和$w_{out}$表示隐藏层和输出层的权重矩阵。

1.3 反向传播

在前向传播的基础上，我们需要计算出网络的误差，并通过反向传播算法来更新权重矩阵，从而最小化误差。具体来说，我们可以使用均方误差函数作为网络的损失函数，计算出网络的误差$E$。
$$E=\frac{1}{2}(y-t{)}^2$$
其中，$t$表示目标输出。

通过链式法则，我们可以计算出每个节点的误差梯度，并使用梯度下降算法来更新权重矩阵。具体来说，我们可以使用以下公式来更新隐藏层和输出层的权重矩阵。
$$\Delta w_{hidden}=-\eta \frac{\partial E}{\partial w_{hidden}}$$
$$\Delta w_{out}=-\eta \frac{\partial E}{\partial w_{out}}$$
其中，$\eta$表示学习率。
通过不断迭代前向传播和反向传播过程，我们可以逐步优化神经网络，从而实现对输入输出关系的建模。

2. 动量法

动量法是一种常用的加速神经网络训练的方法。它的基本思想是：在更新权值时，不仅考虑当前的梯度，还要考虑之前的权值更新量的影响。通过引入一个动量因子，可以让网络在更新权值时向之前的方向继续前进，从而加速收敛。
动量法的更新公式为：
$$v_t=\alpha v_{t-1}+\eta {\nabla }_{}$$