前向传播:
按照激活函数加权重传递,f(Wx+b)
反向传播:
首先计算最后一层预测值与真实值之间的误差,然后按照链式法则进行反向传递到上一层,得到误差更新权重。
比如第l层某神经元误差=该神经元的梯度*与该神经元相连的第(l+1)层误差项权重和。
梯度下降算法需要有明确的求导,对于神经网络隐藏层不含有误差,需要反向传播算法传递误差,然后再通过梯度下降调参。
前向传播:
按照激活函数加权重传递,f(Wx+b)
反向传播:
首先计算最后一层预测值与真实值之间的误差,然后按照链式法则进行反向传递到上一层,得到误差更新权重。
比如第l层某神经元误差=该神经元的梯度*与该神经元相连的第(l+1)层误差项权重和。
梯度下降算法需要有明确的求导,对于神经网络隐藏层不含有误差,需要反向传播算法传递误差,然后再通过梯度下降调参。