Hebb 学习规则

目录

前言

一、Hebb学习规则是什么？

二、表达意义

三、公式

总结

---

前言

在上周学习Cnn的时候说到了hebb学习规则，下来学习

---

一、Hebb学习规则是什么？

Hebb学习规则是一个无监督学习规则，这种学习的结果是使网络能够提取训练集的统计特性，从而把输入信息按照它们的相似性程度划分为若干类。这一点与人类观察和认识世界的过程非常吻合，人类观察和认识世界在相当程度上就是在根据事物的统计特征进行分类。

Hebb学习规则只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。

二、表达意义

由赫布提出的Hebb学习规则为神经网络的学习算法奠定了基础，在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过联结权重的调整，构造客观世界的内在表征。

巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联系起来。以后如果响铃但是不给食物，狗也会流口水。

受该实验的启发，Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。比如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元，那么这两个神经元间的联系就会强化，从而记住这两个事物之间存在着联系。相反，如果两个神经元总是不能同步激发，那么它们间的联系将会越来越弱。

三、公式

Hebb学习律可表示为：
Wij(t+1)=Wij(t)+a⋅yi⋅yj

 其中 WijWij表示神经元 jj到神经元ii的连接权， yi与 yj表示两个神经元的输出， a是表示学习速率的常数，如果yi与yj同时被激活，即yi与yj同时为正，那么 wij将增大。如果yi被激活，而 yj处于抑制状态，即yi为正 yj为负，那么wij将变小。

这里有一篇博客讲述了一个Hebb学习规律的例子：

http://blog.foool.net/2016/09/%e4%b8%80%e4%b8%aa%e7%9b%91%e7%9d%a3%e7%9a%84%e8%b5%ab%e5%b8%83%e5%ad%a6%e4%b9%a0%ef%bc%88hebb-learning%ef%bc%89%e7%9a%84%e4%be%8b%e5%ad%90/

---

总结

Hebb学习规则

想到一个问题，如果在多标签学习时，利用这种方法在训练集训练数据的时候是否可以建立标签之间的相关性；

如图片数据，在一张图片中如果有两个标签同事出现，那么这两个标签之间的相关性增加，如果没有同时出现，则这两个标签之间的相关性降低。

本文参考百度百科