吴恩达机器学习学习笔记（四）（附作业代码注释）

吴恩达机器学习学习笔记（四）

标签： 机器学习

---

代价函数与反向传播（Costfunction and Backpropagation）

一.代价函数

L：代表神经网络的层数
$s_l$代表第i层的单元数
k代表输出层的单元数
二元分类问题时：
y=0 或者 y=1
仅有一个输出，$s_l$=1
k=0
当多元分类k=0问题时：
$s_l$=k(当k>=3)
y为一个K维矩阵，有k个输出单元

1逻辑分类的评价函数：

$$J(\theta) = - \frac{1}{m} \sum_{i=1}^m [ y^{(i)}\ \log (h_\theta (x^{(i)})) + (1 - y^{(i)})\ \log (1 - h_\theta(x^{(i)}))] + \frac{\lambda}{2m}\sum_{j=1}^n \theta_j^2$$

2.神经网络的评价函数：

J(Θ)=−1m∑i=1m∑k=1K[y(i)klog((hΘ(x(i