神经网络 梯度下降算法/delta规则

1、梯度下降算法定义（gradient descent）（摘自百度百科）

      梯度下降算法是一种最优化算法，通常用于非线性可分的数据集。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

2、梯度下降算法的核心是微积分，通过迭代以下步骤来获取局部最小值，主要求解过程如下：

3、深入梯度下降的讲解，我觉得这篇讲得非常详细，很值得学习。

http://www.cnblogs.com/ooon/p/4947688.html