机器学习第五周（一）

1、Cost function
神经网络进行多分类结果的输出是以向量的形式，给出Cost function 并同逻辑回归做对比。

L是神经网络的层数；SL是L层的结点数（不包括偏置结点）；K代表几分类。

---

2、Backpropagation Algorithm
同线性回归和逻辑回归用梯度下降来求解损失函数的最小值一样，我们用BP算法（反向传播算法）来求解神经网络中损失函数的最小值。
首先，以一个4层的神经网络来计算前向传播过程（即第四周的神经网络左到右顺序计算过程）。

接着引入误差概念（下图中不考虑正则项，即lamba=0）

分类的结果有多个结点，delta中L表示神经网络层，j表示结点。当通过前向传播计算出a后，则可以得出误差：

反向求前一项误差：

注意：delta只计算到第二项，因为第一层是是输入层，不需要对输入层考虑误差项。而且注意相邻项之间是点乘
对上式最后俩项有

---

为计算损失函数的偏导数，引入Delta = 0；并有

并且规定：


由此得到偏导数的求解，注意j取值分俩种情况。

---

3、Backpropagation intuition
以一个具体例子来说明计算过程，求delta（2,2）