Delta规则

有监督学习规则
 Delta学习规则是一种简单的有导师学习算法，该算法根据神经元的实际输出与期望输出差别来调整连接权，其数学表示如下：
Wij(t+1)=Wij(t)+a⋅(di−yi)xj(t)
Wij(t+1)=Wij(t)+a⋅(di−yi)xj(t)

其中WijWij表示神经元j到神经元i的连接权，didi是神经元ii的期望输出，yiyi是神经元i的实际输出，xjxj表示神经元jj状态，若神经元j处于激活态则xjxj为1，若处于抑制状态则xjxj为0或-1（根据激活函数而定）。aa是表示学习速度的常数。假设xixi为1，若didi比yiyi大，那么WijWij将增大，若didi比yiyi小，那么WijWij将变小。
 Detla规则简单来讲就是：若神经元实际输出比期望输出大，则减少输入为正的连接的权重，增大所有输入为负的连接的权重。反之，则增大所有输入为正的连接权的权重，减少所有输入为负的连接权的权重。

作者：涂涂

原文：https://blog.csdn.net/u012562273/article/details/56297648