[笔记]Coursera Machine Learning Week4,5 - 神经网络(Neural Networks)

以后不更新了。。网上发现了黄海广大佬整理的笔记，整理的真好$_(:з」∠)_$。。。他的笔记github

概念与表述

线性回归与逻辑回归的缺点：特征太多的时候计算负荷太大。

神经网络模型是许多逻辑单元按照不同层级组织起来的网络，每一层的输出变量都是下一层的输入变量。

直观理解

神经网络的单层神经元的计算可以用来表示逻辑运算，比如AND、OR。

如果用多层的话就可以组成功能复杂的神经网络。

多类分类

代价函数

逻辑回归的代价函数：

神经网络代价函数：（$h_{\theta}(x)$为K维度的向量，因为神经网络中可以输出很多变量。训练集中的因变量也是K维度）

反向传播算法

预测结果时我们正向传播：从第一层正向一层层传播，直到最后一层$h_{\theta}(x)$ 。

计算代价函数的偏导数时，从最后一层的误差算起，一层层反向求出各层误差，直到倒数第二层。设误差为$\delta$ ：

$\delta^{(n)}=a^{(n)}-y$
$\delta^{(n-1)}=(\theta^{(n-1)})^{T}\delta^{(n)}.*g'(z^{(n-1)})$
$...$
$\delta^{(2)}=(\theta^{(2)})^{T}\delta^{(3)}.*g'(z^{(2)})$

于是偏导数的表达式即为：$\frac{\partial}{\partial \theta_{ij}^{(l)}}J(\theta)=a_{ij}^{(l)}\delta_{i}^{l+1}$ 。

l代表目前所计算的是第几层。
j代表目前计算层中的激活单元（神经元）的下标，也将是下一层的第j个输入变量的下标。
i代表下一层中误差单元的下标，是受到权重矩阵中第i行影响的下一层中的误差单元的下标。

步骤总结

1. 参数的随机初始化

2. 利用正向传播方法计算所有的hθ(x)

3. 编写计算代价函数J的代码

4. 利用反向传播方法计算所有偏导数

5. 利用数值检验方法检验这些偏导数

6. 使用优化算法来最小化代价函数