深度学习之二 神经网络进阶

深度学习之二

神经网络进阶

1.神经元：

2.神经网络结构：
多个神经元组合在一起就会形成一个神经网络，下图是具有一个隐藏层的神经网络。

3.正向传播：
为了从数据中计算出它的预测值。

4.反向传播：
为了求解参数，是梯度下降算法在神经网络上的具体的计算过程。

如上图：如果给定了损失函数，我们可以直接运用梯度下降法（对损失函数求偏导）求出W3的值，那么对于W1和W2如何计算损失函数对于它们的导数呢？
答案是用链式法则：

5.神经网络训练优化：
以上是反向传播的概念，它是帮助神经网络去求解所有参数的偏导，从而用梯度下降的方法去更新所有的参数，使得神经网络可以求解。

这个梯度下降的过程是可以被优化的。如果每次都在数据集上计算Loss和梯度，它的计算量是非常大的，可能会导致内存承载不住。还有一个问题就是如果上一次计算的梯度和本次计算的梯度差别不大，但是仍然需要去重复的计算梯度，这就造成了耗时。

优化方案有：
①.随机梯度下降：每次只使用一个样本。
导致的问题是：一个样本并不能很好反应整个数据集的梯度的方向，会导致训练的收敛速度会比较慢。

②.Mini-Batch梯度下降：每次使用小部分数据进行训练。这小部分数据是随机采样出来的。
这是一个折中的办法。但是它也存在着问题，对于只有一个样本（随机采样的量不够多）的情况，它很容易产生震荡问题，因为一个样本是不能反映全部数据的方向的。Mini-Batch的size越大，这个问题越不明显。

还有一个问题是梯度下降存在局部极值和saddle point的问题。
局部极值，如下图左为只有一个极值，右为具有局部极值：

saddle point（鞍点）：

参数得不到更新，梯度下降会停住。

为了解决以上的问题，我们采取动量梯度下降法：

vt的含义是梯度的一个积累值。