Neural Network Learning Mechanisms 神经网络学习机制

发布 https://blog.csdn.net/qq_17732497/article/details/108928646
https://www.youtube.com/watch?v=5L9ElIcmoqM&list=PLhdVEDm7SZ-PdtzOkXWb6xyAPxFInnpx-&index=5

学习机制：

1. Error Correction Learning
2. Memory Based Learning
3. Hebbian Learning
4. Competitive Learning
5. Boltzmann Learning

Error Correction Learning

误差修正学习（Error-Correction Learning）是一种有导师的学习过程，其基本思想是利用神经网络的期望输出与实际之间的偏差作为连接权值调整的参考，并最终减少这种偏差。
最常用的损失函数是均方误差（Mean Square Error）：
$$MSE=\frac{1}{M}\sum _{m=1}^M(y_m-{\hat{y}}_m{)}^2$$
根据Widrow-Hoffman rule来更新权重。

Memory Based Learning

基于记忆的学习是模仿大脑在记忆信息的过程。例如我们在考试时遇到了一道曾经学习过的相似问题。尽管题目中的数字改变了，但是我们仍然知道如何得到正确答案。在这个过程中，我们的大脑将遇到的问题同曾经遇到的所有问题进行比较，然后找到同这个最接近的问题。
在Memory Based Learning中我们给神经网络输入大量input-output匹配数据来学习。例如 $\bar{x}$ 是输入的向量，这个输入向量可能包含了大量的输入数据 x ˉ = { x 1 , x 2 . . . } \bar x=\{x_1, x_2 ...\} xˉ={ x1​,</