吴恩达机器学习之神经网络(一)

前言

由于神经网路整体来说比较烧脑，所以准备使用2篇博客去写。以下仅是我看完吴恩达老师视频后的理解。

神经网络的概述

为什么要用神经网络，线性回归和logistic回归不香嘛？

线性回归或者logistic回归主要的问题在于我们有时候不得不去构造很复杂的多项式去拟合训练集的数据，当我们的次数越高，我们可以使用的组合就越多，这样就很难去求解最好的模型。

神经网络是什么

只是个人看法，神经网络看上去是一个比较庞大的logistic回归模型，他的每一层都是多个logistic回归，这样如果层数很高，那么每一层用于回归的属性会从第一层的样本属性到之后难以描述的属性。
（logistic回归可以参考另一篇博客：添加链接描述）

神经网络的组成
输入层：第一层，样本的矩阵
输出层：最后一层，判断结果的矩阵
隐藏层：除了输入层和输出层的其他层都是隐藏层。

神经网络中的基本参数
m:代表样本的总数

l ： l代表层数，我比较喜欢从0开始。
L: 一共有L层

${\Theta }^{(l)}$：由于有很多层，每两个层之间都会有一个矩阵用于logistic回归。用${\Theta }^{(l)}$表示，代表第l到第l + 1之间的矩阵。

$S_l$: 代表第l层有几个属性

$a^l$：第l层的属性向量

$z^l$: ${\Theta }^{l-1}$ @ $a^{l-1}$ (@为内积)，可以看到$a^l=sigmoid(z^l)$

X：是所有样本的属性矩阵

$y^{(i)}$: 第i个样本的真实值，是一个向量

$x^{(i)}$:X中的第i行向量

K: 输出层有几个单元，即$y^{(i)}$的维数

以上可以描述一个神经网络了。

神经网络的损失函数
$$J(\Theta )=-\frac{1}{m}\sum _{i=0}^m\sum _{k=0}^K{y}_k^{(i)}log(sigmoid(x^{(i)}))+(1-y_k^{(i)})log(1-sigmoid(x^{(i)}))+\frac{1}{m}\sum {\Theta }_{ij}^2$$

这个式子很复杂，但是可以拆开来看，前一项是所有样本的所有输出的损失函数，这个损失函数和logistic的损失函数一致。最后面一个求和里面是所有中间${\Theta }^{(i)}$中所有元素的平方和，用来正则化。

同样这个函数的最小值求法使用梯度下降法：

可是遇到一个问题$\frac{\delta J(\Theta )}{\delta {\Theta }^{(i)}}$怎么求解呢？向前传播、反向传播即可。

向前传播：其实就是根据所有初始化的${\Theta }^{(l)}$去一层一层去求属性。一直到输出层

向后传播：这个主要去求${\delta }^l$,什么是${\delta }^l$?应该是第l层每个属性偏差，它是和$a^{(l)}$同阶的向量。下面描述他的求法：
${\delta }^{(L)}=a^{(L)}-y^{(i)}$(最后一层的偏差)
${\delta }^{(l)}=({\Theta }^{(l)}{)}^T{\delta }^{(l+1)}+sigmoi{d}^{{}^{\prime }}(z^{(l)}))$
对sigmoid函数求导，我们很容易得到，$sigmoi{d}^{{}^{\prime }}(z^{(l)})=a^{(l)}(1-a^{(l)})$。l的取值范围为[1, m -1],注意0，m是取不到的

好了，通过向前传播和向后传播我们已经求出了很多值，我们证明得到
当i ！= 0，
$$\frac{\delta J(\Theta )}{\delta {\Theta }^{(i)}}=\frac{1}{m}{\delta }^{(l+1)}(a(l){)}^T+\frac{\lambda }{m}\Theta （这里\lambda 我除了m，为了和logistic回归对应，而吴恩达老师没有）$$
当i = 0，这里没有正则的那一项是因为，正则化是从第二个$\Theta$开始的
$$\frac{\delta J(\Theta )}{\delta {\Theta }^{(i)}}=\frac{1}{m}{\delta }^{(l+1)}(a(l){)}^T$$

所以最后的更新迭代式为

当l!=0

$${\Theta }^{(l)}={\Theta }^{(l)}(1-\frac{\alpha \ast \lambda }{m})-\alpha \frac{1}{m}{\delta }^{(l+1)}(a(l){)}^T$$

当l=0
$${\Theta }^{(l)}={\Theta }^{(l)}-\alpha \frac{1}{m}{\delta }^{(l+1)}(a(l){)}^T$$