反向传播back propagation：神经网络递推与一般表示的向量形式

最新推荐文章于 2024-03-06 17:02:38 发布

Norstc

最新推荐文章于 2024-03-06 17:02:38 发布

阅读量1.2k

点赞数 1

分类专栏：人工智能与深度学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/a493823882/article/details/83626540

版权

人工智能与深度学习专栏收录该内容

68 篇文章 32 订阅

订阅专栏

零前置知识

损失函数与激活函数

损失函数的形式称为交叉熵（cross entropy），后面的推导中的损失函数L都是此形式

梯度下降法

Repeat:

{

$w:=w-\alpha \frac{\partial L(w,b)}{\partial w}$

$b:=b-\alpha \frac{\partial L(w,b)}{\partial b}$

}

until convergence

可见若进行梯度下降法，需求出w与b对L的导数

一 Logistic回归中的导数与back propagation

基本结构

logistic回归的梯度表达式推导与反向传播

由于需要求出对w和b的导数，根据导数的链式法则，逆向一步步可最终求出w和b的导数，故导数反向传播

$da:\frac{\mathrm{d} L}{\mathrm{d} x}=-\frac{y}{a}+\frac{1-y}{1-a}$

$dz:\frac{\mathrm{d} L}{\mathrm{d} z}=\frac{\mathrm{d} L}{\mathrm{d} a}\frac{\mathrm{d} a}{\mathrm{d} z}=\left(-\frac{y}{a}+\frac{1-y}{1-a}\right)\left(a(1-a) \right )=a-y$

$dw:\frac{\mathrm{d} L}{\mathrm{d} w}=\frac{\mathrm{d} L}{\mathrm{d} z}\frac{\mathrm{d} z}{\mathrm{d} w}=dz\cdot x$

$db:\frac{\mathrm{d} L}{\mathrm{d} b}=\frac{\mathrm{d} L}{\mathrm{d} z}\frac{\mathrm{d} z}{\mathrm{d} b}=dz$

二神经网络中梯度的向量化表达与递推关系

与logistic回归相像，易得nn中的梯度表达式与其向量化表示，如下

递推关系和一般形式的向量表达

对于第i层对应的向量化表示：

$dA^{[i-1]}=W^{[i]T}\cdot dZ^{[i]}$

$dZ^{[i]}=dA^{[i]}*g^{[i]}'(Z^{[i]})$

$dW^{[i]}=\frac1mdZ^{[i]}\cdot A^{[i-1]T}$

$db^{[i]}=\frac1mnp.sum\left(dZ^{[i]},axis=1,keepdim=True\right)$

ps：dA的推导

$da^{[i-1]}:\frac{\mathrm{d} L}{\mathrm{d} a^{[i-1]}}=\frac{\mathrm{d} L}{\mathrm{d} z^{[i]}}\frac{\mathrm{d} z^{[i]}}{\mathrm{d} a^{[i-1]}}=w^{[i]}dz^{[i]}$

dZ的推导

$dZ^{[i]}=\frac{dL}{dZ^{[i]}}=\frac{dL}{dA^{[i]}}\frac{dA^{[i]}}{dZ^{[i]}}$

因为 $A[i]=g(Z^{[i]})$ ，所以 $\frac{dA^{[i]}}{dZ^{[i]}}=g^{[i]'}(Z^{[i]})$

所以 $dZ^{[i]}=dA^{[i]}*g^{[i]}'(Z^{[i]})$

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。