梯度下降 & 神经网络（RNN & LSTM)

一、代价函数和梯度下降

回归模型的代价函数（平方误差函数）：模型预测值和实际值之间的差的平方和。最小二乘法表达式，用平方和来表达差的绝对值的大小。

回归模型的目标便是找到使得代价函数最小的模型参数组合。

梯度：用于更新神经网络的权重值
梯度下降：一个用来求函数最小值的算法，比如用梯度下降来求得代价函数的最小值。随机选择一个参数组合（${\theta }_0,{\theta }_1,{\theta }_2......{\theta }_n$）开始，寻找下一个使得代价函数值下降最多的参数组合，以此类推直到找到达到local minimum代价函数值的参数组合。

随着传播推移，梯度逐渐减小，梯度消失时，模型会停止学习。

批量梯度下降（batch gradient descent）：在梯度下降的每一步中都用到了完整的样本集，并对m个训练样本求和。

$\alpha$is the learning rate (每一次学习的时候梯度下降的幅度) and the derivative part help control the direction of gradient descent until zero. Since the der