Hebb和Delta学习规则

原文链接：https://blog.csdn.net/u012562273/article/details/56297648

无监督学习规则

唐纳德·赫布（1904-1985）是加拿大著名生理心理学家。Hebb学习规则与“条件反射”机理一致，并且已经得到了神经细胞学说的证实。
 巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联系起来。以后如果响铃但是不给食物，狗也会流口水。
  受该实验的启发，Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。比如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元，那么这两个神经元间的联系就会强化，从而记住这两个事物之间存在着联系。相反，如果两个神经元总是不能同步激发，那么它们间的联系将会越来越弱。
 Hebb学习律可表示为:

$$W_{ij}(t+1)=W_{ij}(t)+a\cdot y_i\cdot y_j$$

其中 $W_{ij}$ 表示神经元 $j$ 到神经元ii的连接权，$y_i$与$y_j$表示两个神经元的输出，$a$ 是表示学习速率的常数，如果$y_i$ 与$y_j$同时被激活，即 $y_i$ 与$y_j$同时为正，那么 $W_{ij}$ 将增大。如果 $y_i$ 被激活，而$y_j$处于抑制状态，即$y_i$ 为正$y_j$ 为负，那么 $W_{ij}$ 将变小。

有监督学习规则

Delta学习规则是一种简单的有导师学习算法，该算法根据神经元的实际输出与期望输出差别来调整连接权，其数学表示如下：
$$W_{ij}(t+1)=W_{ij}(t)+a\cdot (d_i-y_i)x_j(t)$$

其中 $W_{ij}$ 表示神经元j到神经元i的连接权，$d_i$ 是神经元 $i$ 的期望输出，$y_i$ 是神经元i的实际输出，$x_j$ 表示神经元 $j$ 状态，若神经元$j$处于激活态则$x_j$为1，若处于抑制状态则$x_j$为0或-1（根据激活函数而定）。$a$是表示学习速度的常数。假设$x_i$为1，若$d_i$比$y_i$大，那么 $W_{ij}$ 将增大，若$d_i$比$y_i$小，那么 $W_{ij}$ 将变小。
 Detla规则简单来讲就是：若神经元实际输出比期望输出大，则减少输入为正的连接的权重，增大所有输入为负的连接的权重。反之，则增大所有输入为正的连接权的权重，减少所有输入为负的连接权的权重。

————————————————
版权声明：本文为CSDN博主「涂涂」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u012562273/article/details/56297648