神经网络训练本质就是通过Loss function调整w和b的值,达到最好的效果。而CNN优化参数的算法采用的是SGD,通过计算W和b偏导,反向的调整参数,这个时候利用链式求导法则,逐级相乘直到求解dw和db,利用SGD随机梯度下降,迭代和更新W和b。
1、输出层的求导
2、中间层的求导
神经网络训练本质就是通过Loss function调整w和b的值,达到最好的效果。而CNN优化参数的算法采用的是SGD,通过计算W和b偏导,反向的调整参数,这个时候利用链式求导法则,逐级相乘直到求解dw和db,利用SGD随机梯度下降,迭代和更新W和b。
1、输出层的求导
2、中间层的求导