Hebb和Delta学习规则

无监督学习规则

 唐纳德·赫布（1904-1985）是加拿大著名生理心理学家。Hebb学习规则与“条件反射”机理一致，并且已经得到了神经细胞学说的证实。
 巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联系起来。以后如果响铃但是不给食物，狗也会流口水。
 受该实验的启发，Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。比如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元，那么这两个神经元间的联系就会强化，从而记住这两个事物之间存在着联系。相反，如果两个神经元总是不能同步激发，那么它们间的联系将会越来越弱。
 Hebb学习律可表示为：

$$W_{ij}(t+1)=W_{ij}(t)+a\cdot y_i\cdot y_j$$
 其中 $W_{ij}$表示神经元 $j$到神经元$i$的连接权， $y_i$与 $y_j$表示两个神经元的输出， $a$是表示学习速率的常数，如果$y_i$与 $y_j$同时被激活，即 $y_i$与 $y_j$同时为正，那么 $w_{ij}$将增大。如果 $y_i$被激活，而 $y_j$处于抑制状态，即 $y_i$为正 $y_j$为负，那么 $w_{ij}$将变小。

有监督学习规则

 Delta学习规则是一种简单的有导师学习算法，该算法根据神经元的实际输出与期望输出差别来调整连接权，其数学表示如下：

$$W_{ij}(t+1)=W_{ij}(t)+a\cdot (d_i-y_i)x_j(t)$$
 其中 $W_{ij}$表示神经元j到神经元i的连接权， $d_i$是神经元 $i$的期望输出，$y_i$是神经元i的实际输出， $x_j$表示神经元 $j$状态，若神经元j处于激活态则$x_j$为1，若处于抑制状态则 $x_j$为0或-1（根据激活函数而定）。 $a$是表示学习速度的常数。假设$x_i$为1，若 $d_i$比 $y_i$大，那么 $W_{ij}$将增大，若 $d_i$比 $y_i$小，那么 $W_{ij}$将变小。
 Detla规则简单来讲就是：若神经元实际输出比期望输出大，则减少输入为正的连接的权重，增大所有输入为负的连接的权重。反之，则增大所有输入为正的连接权的权重，减少所有输入为负的连接权的权重。