深度学习——第一次浪潮、寒冬及解冻

浪起原因：
感知机的诞生
持续时间：
1943年—1969年
寒冬原因：
感知机（单个神经元）无法解决异或等线性不可分问题。
解冻：
1986年之后多层神经网络解决异或等线性不可分问题。

详情：
1943年神经元数学模型MP诞生，奠定了神经网络大厦的地基，但权值是写死的，不能学习。
1949年提出Hebb学习率，奠定了学习算法（学习规则）的演进方向——调整权值——后续的BP算法啦等都是这一方向，即怎么调整权值？
1958年感知器诞生（激活函数是阶跃函数），标志了单层神经网络的诞生，第一次浪潮的开启（浪起来！）。
1969年minsky发表论文《Perceptrons》说感知器（单个神经元）不能解决异或等线性不可分的问题且多层神经网络也没有什么科学意义。这造成了二十年寒冬。
然后怎么解决呢？多层神经网络来解决。——经过十年左右的探索，如下：
1986年BP反向传播算法诞生，解决了多层神经网络的学习计算问题，掀起了多层神经网络的火热。第一次寒冬破碎。比如用两层感知机（两层神经网络）解决了异或问题（1输入层、1层隐藏层、1层输出层，为何叫2层？因为输入层不用计算，只有2层是计算层，应该是按照计算层算层数的吧）：因为隐藏层的一个感知器（神经元）可以划出一条线，2个就能划2条线，异或问题就用2条线解决了。
于是神经网络第一次寒冬融化，进入了第二次浪潮。

小结：
感知机（感知器）是第一次浪潮，无法解决非线性问题导致第一次寒冬，又因多层神经网络和BP反向传播算法的出现而解冻，开启第二次浪潮。
神经网络的发展不是一蹴而就、一出现就成神的。它刚开始无法解决非线性问题，导致第一次寒冬（被抛弃），然后又有人不放弃它，比如hinton等人提出了BP算法，解决了多层神经网络学习的问题，从此神经网络算法进化到了能解决非线性问题的阶段。——一路荆棘，一路坎坷，但总有人初心不改，推动它的不断进化。

但值得注意的是，MP神经元数学模型（后来的神经元都基于此而来）不是真实的大脑神经元的数学模型，因为至今人类还没有搞懂大脑神经网络。
也许有一天人类研究透彻了，真正的神经元数学模型出现了，那么将会出现另一个奇观。