Cousera - Machine Learning - 课程笔记 - Week 5

2018年9月版本

Week 5

代价函数（k元分类）

• $J(\Theta )=-\frac{1}{m}[\sum _{i=1}^m{\sum }_{k=1}^K{y}_k^{(i)}\log (h_{\Theta }(x^{(i)}){)}_k+(1-y_k^{(i)})\log (1-(h_{\Theta }(x^{(i)}){)}_k)]+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_{l+1}}({\Theta }_{ji}^{(l)}{)}^2$
• $h_{\Theta }(x)\in R^K,(h_{\Theta }(x){)}_i=i^{th}output$
• 注意正规项，为了能够更多地去除偏置项对代价函数的影响，只取1，1到结束的全部值，零行零列均被忽略

反向传播算法

• 寻找最小$J(\Theta )$
• 需要计算$J(\Theta )$和KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲}{\part\Theta_{…
• 算法过程
  • 训练集$(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\dots ,(x^{(m)},y^{(m)})$
  • 令${\Delta }_{ij}^{(l)}=0$，用于累加KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲}{\part\Theta^{…
  • 对$t=1tom$
    • 令$a^{(1)}=x^{(t)}$
    • 正向传播计算$a^{(l)}$
    • 利用$y^{(t)}$，计算${\delta }^{(L)}=a^{(L)}-y^{(t)}$
    • 计算所有的${\delta }^{(L-1)},{\delta }^{(L-2)},\dots ,{\delta }^{(2)}$，${\delta }^{(l)}=(({\Theta }^{(l)}{)}^T{\delta }^{(l+1)}).\ast a^{(l)}.\ast (1-a^{(l)})$
    • ${\Delta }_{ij}^{(l)}:={\Delta }_{ij}^{(l)}+a_j^{(l)}{\delta }_i^{(l+1)}$，向量形式为${\Delta }^{(l)}:={\Delta }^{(l)}+{\delta }^{(l+1)}(a^{(l)}{)}^T$
  • $D_{ij}^{(l)}:=\frac{1}{m}({\Delta }_{ij}^{(l)}+\lambda {\Theta }_{ij}^{(l)})ifj\ne 0$
  • $D_{ij}^{(l)}:=\frac{1}{m}{\Delta }_{ij}^{(l)}ifj=0$
  • KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲}{\part \Theta^…
• KaTeX parse error: Undefined control sequence: \part at position 23: …{(l)}_j=-\frac{\̲p̲a̲r̲t̲}{\part z^{(l)}…

反向传播算法实践

向量展开 Unrolling Parameters

• 优化函数的接口需要，我们需要将矩阵形式的参数展开成一个列向量

• 对于优化函数fminunc，需要一个初始参数向量，此时需要将参数进行展开

• 同时，优化函数需要返回梯度值，在计算完梯度值后，同样需要展开返回

梯度检查 Gradient Checkling

• 取双边计算导数$\frac{f(x+ϵ)-f(x-ϵ)}{2ϵ}$来近似代表实际导数，从而检查梯度正确性

随机初始化 Random Initialization

• 全零参数造成“对称现象”
• 所有参数随机（结果在0和1之间），然后乘2倍ε再减一个ε，结果转化为-ε到+ε之间

神经网络总结

1. 选择一种神经网络架构，即层数、每层单元数等
   • 特征数量决定了输入层神经元个数
   • 分类的类别总数决定了输出层神经元个数（注意多元分类的结果书写形式）
   • 默认只是用一个隐藏层，如果超过一层，每层应当个数相同
   • 越多越好
2. 随机初始化权重，要求非常小，接近于零
3. 实现正向传播，以获得$h_{\Theta }(x^{(i)})$
4. 实现代价函数$J(\Theta )$的计算
5. 实现反向传播，计算偏导数KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲}{\part \Theta^…
6. 使用梯度检查检查上述方式得到的偏导数的正确性
7. 使用梯度下降或其他高级的优化方法，最小化代价函数值