算法知识点-前向和反向传播

前向传播：
按照激活函数加权重传递，f(Wx+b)
反向传播：
首先计算最后一层预测值与真实值之间的误差，然后按照链式法则进行反向传递到上一层，得到误差更新权重。
比如第l层某神经元误差=该神经元的梯度*与该神经元相连的第（l+1）层误差项权重和。

梯度下降算法需要有明确的求导，对于神经网络隐藏层不含有误差，需要反向传播算法传递误差，然后再通过梯度下降调参。