在传统人工神经网络ANN的训练过程中,每次迭代的目的就是不断地调整权值w1,w2,w3,...,wn,使训练样本经过神经网络的实际输出值与目标输出尽可能地接近。
实际输出和目标输出之间的误差度量通常采用如下平方误差准则:
(注:word的向量表达式占多了一个空格的空间,如对排版不满,请多多包涵)
其中,D是训练样本集合(dataset),s是训练样本,T s是s的目标输出(即s的类别),O s是s经过神经网络的实际输出。常数因子是为了与推导过程中产生的因子1/2抵消。现在我们探讨如何使训练误差E最小化。
观察式1-1,对于特定问题,训练集合D是固定的,即Ts是固定的,而Os只依赖于权值向量w,故训练误差E是权值向量w的函数。
在网络训练过程中,为得到使训练误差E最小化的权值向量w,从任意的权向量w 0开始,以很小步长反复修改这个权向量,每一步修改都使误差E减小,直到找到使E合理最小化的权向量w *。假设输入点数目为n,则可以将最小化误差E的操作,视为等同于在(n+1)维空间(w0~wn构成n维,E构成最后一维ÿ