原文链接:https://blog.csdn.net/u012562273/article/details/56297648
无监督学习规则
唐纳德·赫布(1904-1985)是加拿大著名生理心理学家。Hebb学习规则与“条件反射”机理一致,并且已经得到了神经细胞学说的证实。
巴甫洛夫的条件反射实验:每次给狗喂食前都先响铃,时间一长,狗就会将铃声和食物联系起来。以后如果响铃但是不给食物,狗也会流口水。
受该实验的启发,Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。比如,铃声响时一个神经元被激发,在同一时间食物的出现会激发附近的另一个神经元,那么这两个神经元间的联系就会强化,从而记住这两个事物之间存在着联系。相反,如果两个神经元总是不能同步激发,那么它们间的联系将会越来越弱。
Hebb学习律可表示为:
W i j ( t + 1 ) = W i j ( t ) + a ⋅ y i ⋅ y j W_{ij}(t+1)=W_{ij}(t)+a⋅y_{i}⋅y_{j} Wij(t+1)=Wij(t)+a⋅yi⋅yj
其中 W i j W_{ij} Wij 表示神经元 j j j 到神经元ii的连接权, y i {y_i} yi与 y j {y_j} yj表示两个神经元的输出, a a a 是表示学习速率的常数,如果 y i y_i yi 与 y j {y_j} yj同时被激活,即 y i y_i yi 与 y j {y_j} yj同时为正,那么 W i j W_{ij} Wij 将增大。如果 y i y_i yi 被激活,而 y j y_j yj处于抑制状态,即 y i y_i yi 为正 y j y_j yj 为负,那么 W i j W_{ij} Wij 将变小。
有监督学习规则
Delta学习规则是一种简单的有导师学习算法,该算法根据神经元的实际输出与期望输出差别来调整连接权,其数学表示如下:
W
i
j
(
t
+
1
)
=
W
i
j
(
t
)
+
a
⋅
(
d
i
−
y
i
)
x
j
(
t
)
W_{ij}(t+1)=W_{ij}(t)+a⋅(d_i−y_i)x_j(t)
Wij(t+1)=Wij(t)+a⋅(di−yi)xj(t)
其中
W
i
j
W_{ij}
Wij 表示神经元j到神经元i的连接权,
d
i
d_i
di 是神经元
i
i
i 的期望输出,
y
i
y_i
yi 是神经元i的实际输出,
x
j
x_j
xj 表示神经元
j
j
j 状态,若神经元
j
j
j处于激活态则
x
j
x_j
xj为1,若处于抑制状态则
x
j
x_j
xj为0或-1(根据激活函数而定)。
a
a
a是表示学习速度的常数。假设
x
i
x_i
xi为1,若
d
i
d_i
di比
y
i
y_i
yi大,那么
W
i
j
W_{ij}
Wij 将增大,若
d
i
d_i
di比
y
i
y_i
yi小,那么
W
i
j
W_{ij}
Wij 将变小。
Detla规则简单来讲就是:若神经元实际输出比期望输出大,则减少输入为正的连接的权重,增大所有输入为负的连接的权重。反之,则增大所有输入为正的连接权的权重,减少所有输入为负的连接权的权重。
————————————————
版权声明:本文为CSDN博主「涂涂」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u012562273/article/details/56297648