【深度学习 反向传播算法01】什么是反向传播算法? (求解梯度-链式求导法则)
反向传播算法本文是根据深度学习课程图文做的笔记0. 背景简单深度学习模型的基本流程: 1. 定义模型 2. 读入数据 3. 给出损失函数f 4. 梯度下降法更新参数(手动求梯度、pytorch自动求导)对于复杂模型,如100层网络,该怎么解决呢?⭐反向传播算法自动求导的本质就是反向传播算法反向传播算法是一个有效求解梯度的算法,本质是链式求导法则的应用1. 链式法则利用链式求导法则:令 q=x+y它们的微分:又因为 q = x +y则:..
原创
2021-07-18 02:21:43 ·
1886 阅读 ·
0 评论