cs231n学习笔记第四课

最新推荐文章于 2022-08-21 22:36:48 发布

breato

最新推荐文章于 2022-08-21 22:36:48 发布

阅读量180

点赞数

分类专栏： cs231n

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/breato/article/details/83720786

版权

cs231n 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

1.反向传播：核心为链式法则，通过对一系列中间变量进行简单的求导计算来得到整个复杂函数的梯度

local gradient * upstream gradient:对当前节点求导并将其与上游节点导数相乘，逐渐回传

sigmoid function: $\frac{d\sigma(x)}{dx} = (1-\sigma(x))*\sigma(x)$

计算图中：加法门的本地梯度是1，故将上游梯度直接分配给两个支流；

乘法门将两个支流的值交换再与上游梯度相乘，进行传递；

最大值门将上游梯度分配给值较大的支流，另一个为零；

ps:注意链式法则计算过程中，同一层上（同一向量）中是相加关系： $\frac{\partial f}{\partial W_{ij}}=\sum_k \frac{\partial f}{\partial q_k}\frac{\partial q_k}{\partial W_{ij}}$

2.神经网络：一个复杂的非线性函数

常见的激活函数:

sigmoid: $\sigma(x)=\frac{1}{1+e^{-x}}$ , tanh, ReLU:max(0,x), Leaky ReLU:max(0.1x,x),

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
cs231n学习笔记第四课

1.反向传播：核心为链式法则，通过对一系列中间变量进行简单的求导计算来得到整个复杂函数的梯度local gradient * upstream gradient:对当前节点求导并将其与上游节点导数相乘，逐渐回传sigmoid function: 计算图中：加法门的本地梯度是1，故将上游梯度直接分配给两个支流；乘法门将两个支流的值交换再与上游梯度相乘，进行传递；最大值门将上游梯度...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。