梯度下降法推导总结

在传统人工神经网络ANN的训练过程中，每次迭代的目的就是不断地调整权值w₁,w₂,w₃,...,w_n，使训练样本经过神经网络的实际输出值与目标输出尽可能地接近。

实际输出和目标输出之间的误差度量通常采用如下平方误差准则：

（注：word的向量表达式占多了一个空格的空间，如对排版不满，请多多包涵）

其中，D是训练样本集合（dataset），s是训练样本，T _s是s的目标输出（即s的类别），O _s是s经过神经网络的实际输出。常数因子是为了与推导过程中产生的因子1/2抵消。

现在我们探讨如何使训练误差E最小化。

观察式1-1，对于特定问题，训练集合D是固定的，即T_s是固定的，而O_s只依赖于权值向量w，故训练误差E是权值向量w的函数。

在网络训练过程中，为得到使训练误差E最小化的权值向量w，从任意的权向量w ⁰开始，以很小步长反复修改这个权向量，每一步修改都使误差E减小，直到找到使E合理最小化的权向量w ^*。

假设输入点数目为n，则可以将最小化误差E的操作，视为等同于在(n+1)维空间（w⁰~wⁿ构成n维，E构成最后一维ÿ