2020-08-06

卷积神经网络的提出来源于对生物视觉细胞的模仿。1968年Hubel和Wiesel的动物实验发现了视觉细胞会感应固定的形状或颜色，并且具有本地连接性，这和现在的CNN很相似。但是该视觉实验目前还是没有更高的进展，因此动物细胞结构对于人工神经网络的指导不再那么有力，所以说现在CNN的发展没有了teacher，它的出现都不是数学理论推导出来的，而现在神经细胞的研究滞后于CNN，导致CNN的发展没有一个明确的方向。

https://www.sohu.com/a/209670141_100024677

从这篇新闻可以看出，目前深度学习实践领先于理论。因此深度学习被称为“炼金术”，而不是“化学家”。深度学习利用梯度下降的算法和强大的算力，使得一些问题被自动化地解决，不知道原因的黑箱模型，我们只能不断地尝试而没有一个理论指导。

我认为，深度学习神经网络的出现并不是正常的逻辑发展顺序，它实际上是参照了生物结构进行的跳跃式发展，可能人类的思维水平还没有上升到独立构造神经网络的高度，却通过模仿别人的成果造出了神经网络，却也是不完整的模仿，所以才出现这种炼金术的情况，如果是这样的话，我们现在的目标应该是回过头里应外合解决出神经网络的内部原理，这样才能使人类的水平真正地提高。