神经网络基础知识

 神经网络中的三大概念：反向传播、梯度下降、损失函数，这三个概念 

反向传播的英文是Backpropagation，简称BP，一般在神经网络中会和随机梯度下降法（stochastic gradient decent），简称SGD一起使用，作为神经网络中参数调整的手段

反向传播求解w

 求w的具体变化值

梯度下降

SGD就是随机生成参数的意思，梯度下降 = 梯度+下降。梯度就是表示某一函数在该点处的方向导数沿着该方向取得最大值（以前学过的概念：导数、偏导），下降就更好理解了，往负方向走。因为梯度的方向是函数上升最快的方向，但是我们要让误差公式尽可能的小，就要往函数下降最快的方向移动（在上升最快的方向上把符号改成负号即可）。所以随机梯度下降的意思就是：最开始随机生成神经网络参数，然后随着函数梯度下降最快的方向进行网络参数的调整。

1. (θ-θ₀)=ŋν（其中 ŋ是标量，ν是单位向量 ,θ-θ₀不能太大，否则线性近似就不够准确)

2. f(θ)-f(θ₀) ≈ (θ-θ₀)•▽f(θ₀) = ŋν•▽f(θ₀) < 0