文章目录
矩阵求导参考https://blog.csdn.net/daaikuaichuan/article/details/80620518
看图中画红圈的栏
反向传播参考b站
矩阵求导记忆点
❀ 向量x与向量y相乘=一个数 xy=数
(也就是x与y有一个是行向量,一个是列向量,习惯上一般我们认为y是列向量)
则数对x的偏导=y (格式与x一致)
数对y的偏导=x的转置 (格式与y一致)
口诀:前不转 后转
❀
口诀:链式法则向前乘
sigmod函数求导
g(x)导数=g(1-g)
反向传播矩阵形式推导(不一定对)
网络的开始(就是反向的终结)
x(n×1) 到 W(k×n) x=z(k×1)
如果求出了损失函数L=误差E 对z的偏导
那么 L对W的偏导=啥?
这是一个数 对一个矩阵的偏导
其实你用元素分解法就知道= Lz‘ x
Lz’是