最近在看《动手学深度学习》这本书,收获很大,在此想总结一下,方便日后回顾。也推荐大家去看看这本书。
一、正向传播:(这里不考虑偏差项b)
输入层到隐藏层中间变量:
隐藏层:
输出层:
损失项:
正则化项:
目标函数:
正向传播计算图:
二、反向传播:
首先确定目标,求:
,
先计算最靠近输出层模型参数的梯度:
再计算靠近输入层模型参数的梯度:
其中:
最近在看《动手学深度学习》这本书,收获很大,在此想总结一下,方便日后回顾。也推荐大家去看看这本书。
输入层到隐藏层中间变量:
隐藏层:
输出层:
损失项:
正则化项:
目标函数:
正向传播计算图:
首先确定目标,求:
,
先计算最靠近输出层模型参数的梯度:
再计算靠近输入层模型参数的梯度:
其中: