人工神经网络----Hebbian学习规则

现在我们常用的深度学习神经网络，仅仅是人工神经网络的一个分枝，还有许多其他类型的神经网络。

现在的神经网络主要是基于梯度反向传播（BP）算法更新模型参数，同样BP是一种参数更新方式，但也不是唯一一种。

这个学期选了《人工神经网络》课程，就是希望能更全面的了解神经网络的领域知识。

---

Hebbian学习规则

与BP算法一样，Hebbian学习规则也是一种参数更新的方式。该学习规则：将一个神经元的输入与输出信息进行对比，对该神经元的输入权重参数进行更新。该学习规则使每个神经元独自作战。一个神经元的参数更新，仅仅与它自己的输入与输出数据有关，不考虑整个网络的全局情况。

Hebbian学习规则通常使用双极性激活函数，即激活函数的取值范围是[-1,1],使得输入与输出同号（+或-）时，加大权重，否则，降低权重。

因此，通常，Hebbian学习规则用当前神经元的输入与输出的乘积更新自己的权重。

其中：是第个神经元的输出，是神经元的第个输入。是神经元与第个输入数据之间的权重。

---

一个例题，源自《人工神经网络理论及应用（韩力群）》，第35页，自己又写了一遍，如下：

参考：《人工神经网络理论及应用（韩力群）》，第34，35页