吴恩达机器学习笔记（七）神经网络：代价函数

最新推荐文章于 2024-07-25 12:32:58 发布

哇哈哈哈哈呀哇哈哈哈

最新推荐文章于 2024-07-25 12:32:58 发布

阅读量865

点赞数

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/weixin_43818397/article/details/122389142

版权

机器学习专栏收录该内容

6 篇文章 0 订阅

订阅专栏

Neural Networks:Learning

Cost function

逻辑回归代价函数：
$J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}(y^{(i)}\log(h_\theta(x^{(i)}))+(1-y^{(i)})\log(1-h_\theta(x^{(i)})))+\frac{\lambda}{2m}\sum_{j=1}^{m}\theta_j^2$
神经网络代价函数：
$J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}\sum_{k=1}^{K}(y_k^{(i)}\log(h_\theta(x^{(i)}))_k+(1-y_k^{(i)})\log(1-h_\theta(x^{(i)}))_k)+\frac{\lambda}{2m}\sum_{l=1}^{L-1}\sum_{j=1}^{m}\sum_{i=1}^{m}(\theta_{ji}^{l})^2$

反向传播算法：Backpropagation algorithm

在这里插入图片描述
反向传播：
intution: $\delta_j^{(l)}$ =“error” of node j in layer l.
计算： $\delta_j^{(l)}$ =第 l层第 j个节点的误差（error）；
对于每一个输出单元： $\delta_j^{(4)}=a_j^{(4)}-y_j$ ，
写成向量形式为： $\delta^{(4)}=a^{(4)}-y$ ；
由输出层逐级往上计算 $\delta^{(l)}、\delta^{(l-1)}\dots \delta^{(2)}$
$\delta^{(3)}=(\Theta^{(3)})^T\delta^{(4)}.*g\prime(z^{(3)}),\qquad g\prime(z^{(3)})=a^{(3)}.*(1-a^{(3)}) \\ \delta^{(2)}=(\Theta^{(2)})^T\delta^{(3)}.*g\prime(z^{(2)}),\qquad g\prime(z^{(2)})=a^{(2)}.*(1-a^{(2)})$
在这里插入图片描述可以证明(忽略 λ ，即 λ = 0)： $\frac{\partial}{\partial\Theta_{ij}^{(l)}}J(\Theta)=a_j^{(l)}\delta_i^{(l+1)}$

原文链接：https://blog.csdn.net/qq_29317617/article/details/86312154

理解反向传播算法：Backpropagation intitutio

具体过程：
在这里插入图片描述
向前传播：
换句话说： $\delta_j^{(l)}=\frac{\partial}{\partial z_{j}^{(l)}}cost(i) for(j\geq0)$
where $cost(i)=y^{(i)}\log(h_\theta(x^{(i)}))+(1-y^{(i)})\log(1-h_\theta(x^{(i)}))$
δ项是代价函数关于这些中间项的偏导数，衡量影响神经网络的权值，进而影响神经网络的输出的程度。
在这里插入图片描述

展开参数：Implementation note:Unrolling parameters

在这里插入图片描述

梯度检验：Gradient checking

在这里插入图片描述

实现注意：

随机初始化：Random initialization

zero initialization：
After each update, parameters corresponding to inputs going into each oftwo hidden units are identical.
如果初始化为0，每次更新后，输入到两个隐藏单元中的输入对应的参数是相同的。

在这里插入图片描述随机初始化：