神经网络前向传播与反向传播

神经网络中的正向传播：确定w和b。

神经元算出一个值后要通过激活函数的运算才能输出。

神经网络中的反向传播：根据损失函数计算的偏差反向去调整w和b的大小。

在反向传播过程中采用向量的加法去分配偏差值。

梯度的方向是增加数值最快的方向，它的反方向是数值减小最快的方向，把损失函数看做是一个向量。