学习方法-学习观（14）神经网络

系列文章解读&说明：

本系列文章 主要是 对 B站上YJango的《学习观》系列视频的一个解读

---

1 视频链接

本章节 对应 YJango的《学习观》系列视频链接 为：

学习观16 六亿年前到底发生了什么？

2 思维导图

第二季中采用 从上到下设计的模式比较高效，因此第三季依然会采用这样的方式，继续采用从上到下的设计方式，不需要后期再重构，一气呵成。本章节对应导图如下：

3 感受分享

本章节 主要关注 几个问题：神经网络怎么来的？神经网络的学习方式是什么？我们如何正确的学习

神经网络怎么来的？

生命无法一下子形成特别复杂的功能，它们都是在原有功能的基础上涌现的。比如，草履虫的应激反应就是蛋白质间的涌现。而演化出真核细胞后的生命一直企图做到的就是细胞间的涌现。那么随后演化停滞长达十亿年之久的的原因，恐怕正是由极其苛刻的涌现条件(因为要想涌现成新的学习系统，细胞之间不仅要形成稳定的连接，还要有统一的信息交流语言)所造成的。生物在进化史上经过了 埃迪卡拉纪的失败(生物虽然形成了稳定连接，却未能达成总体大于个体之和的涌现，在寒武纪大爆发之前就突然集体消失了)，进入到寒武纪，此时 出现了专门用于信息交流的神经细胞和弥散的神经网。随之而来的就是寒武纪时期的动物集中大爆发。神经细胞满足了涌现的两个条件，稳定的连接(起始、发送、复位) 和 统一的交流语言(变频)。同时由“氧”所支撑的高额耗能、由神经系统所实现的感知运动、由“性”所增多的备选模型、由“食”所带来的筛选压力，几个方面的同时作用，形成了 物种爆发。起初生命是对抗熵增的一个奇迹。自此生命是比拼策略的一场游戏。

神经网络的学习方式是什么？

最初的感知与运动，如视觉与心跳，依然是由演化算法，通过个体的死亡，筛选随机变异出的突触而获得的，被称为神经演化（Neuroevolution）。然而随着运动能力的增强，环境变化速度越来越快，个体生长周期也越来越长，如果还靠个体的死亡来筛选合适的突触，那没等筛选出来，就都死光了。而打破这一僵局的是一个细微的演化产物：突触可塑性（Synaptic plasticity）。

突触上的受体不再固定不变，而是可以根据经验自动调节。比如，长期增强作用（Long-term potentiation）可以通过增多受体数量，加快接受神经递质的速度。又如，长期抑制作用（Long-term depression）可以通过减少受体数量，降低接受神经递质的速度（甚至屏蔽）。二者都对学习有重要作用，不要认为长期抑制作用是抑制学习。因为学习是寻找合适频率的过程，而不是一直增大频率的过程。

然而这种学习能力看似美好，却有致命的缺点，也为随后的生命演化埋下了巨大伏笔。由于个体学习并不像演化算法那样，依靠试错，找出规律，而是总结经验，找出规律。那么就必须要有经验（也就是例子）；这也是从此个体需要记忆能力的原因。好在神经系统既可以学习又可以记忆。但是总结经验所找出的规律必须要能预测这些经验之外的情况，否则个体依然会死。也就是说，需要泛化能力（Generalization）。而泛化能力强的规律是不可能一下子就找到的，跟演化一样，需要不断尝试，不断筛选。而在神经网络中，不断尝试表现出的现象就是：重复（强化使用频率高的连接）。不断筛选表现出的现象就是：遗忘（弱化使用频率低的连接）。所以遗忘并不是大脑的缺陷，而是筛选规律的过程，是学习的关键部分。这就就如同科学家排除不符合实验结果的那些猜想一样。没有遗忘，个体就不得不靠以死亡为代价的试错来筛选模型。

我们如何正确的学习？

1. 重塑大脑连接，这也是为什么玩了十年游戏，还是个菜鸡的原因。
2. 明确输入输出，如果你选错了输入输出，那你所改变的就是不同感知细胞之间的连接。这也是为什么若边看字幕边练听力，撤掉字幕就听不懂的原因。换句话说，想在什么情况下使用，就在什么情况下学习。同时这还是为什么背诵时要打乱顺序的原因，因为你不想让上一个信息作为下一个信息的输入。
3. 通过多个例子，如果你没通过输入多个例子学习，那你的神经系统就找不到共性，会把知识作为信息遗忘掉。这也是为什么反复把一个例子背无数遍，还是很快就遗忘的原因。当上一个信息在使用中无法获得时，需要打乱顺序。如每个单词的使用都是独立的，若不打乱顺序就需要回忆起上一个单词才能回忆起下一个单词。当上一个信息在使用中可以获得时，无需打乱顺序。如背诵演讲稿的每句话都对上一句话有依赖，不要打乱顺序。