神经网络初探（一）

导读

2016年初，DeepMind研发的以神经网络技术为基础的围棋程序AlphaGo战胜了世界围棋冠军李世石，引起了全世界的广泛关注。围棋棋盘上有19*19=361个交叉点，每一步都可能影响之后的几百步，很难从当前棋子的分布判断局势，与象棋、国际象棋相比要复杂地多，一个人类棋手需要十几年的刻苦训练以及具备极高悟性才能达到一定水平。

那么，深度学习究竟有着什么样的魔力，能够让AlphaGo在短时间内在如此复杂的棋类游戏上达到世界顶尖水平？本小节将为大家揭开深度学习的神秘面纱，读者将收获以下知识：

• 熟悉神经网络与人脑的渊源
• 熟悉神经元的基本结构
• 熟悉常见的激活函数及其优缺点

从猫的视神经实验说起

很久以来，人们便对大脑是如何“看见”周围的世界感兴趣，因为某些生活中的常见现象一直让人困惑不解：为什么刚出生的婴儿没有远近的概念？为什么在某种语言中如果描述某两种颜色的词汇若为同一词汇，以此语言为母语的人便无法分辨出这两种颜色？为什么先天盲的人即使在后天完全复明后，还是存在诸多视觉认知障碍？为什么有些人后脑勺受伤后会出现短暂性的失明？

这些问题使得人们意识到，我们并不只是简简单单地用眼睛看见这个世界，眼睛只是接收图像信息的工具，由大脑深度加工信息以后，我们才能真正“看见”这个世界。

1959年，加拿大-美籍神经科学家大卫·休伯尔（David Hunter Hubel），与合作者托斯坦·威泽尔（Torsten N. Wiesel）以猫为实验对象，通过对猫的初级视皮层的探究，首次发现了大脑的视觉加工机制，发表了论文《Receptive fields, binocular interaction and functional architecture in the cat’s visual cortex》，并因此共同获得了1981年的诺贝尔生理学或医学奖。
大卫·休伯尔和托斯坦·威泽尔（图片来源：harvard brain tour）

在实验中，他们将玻璃包被的钨丝微电极插入麻醉猫的初级视皮层中的神经元，然后在置于猫前方的幕布上投射出一条光带，改变光带的空间方位角度，用微电极记录神经元的激活状态。他们发现当光带处于某个空间方位角度时，神经元激活状态最为强烈。而且，不同的神经元对不同空间方位的偏好不尽相同。另外，不同神经元对亮光带和暗光带的反应模式也不相同。