理解深度学习基础——神经网络的起源和发展

0. 写在前面

初学深度学习脑海中难免会有这些疑问，记录下来以供自己学习：

为什么要研究神经元？
人工神经元是如何构造出来的？
为什么一个人工神经元神经元有多个输入，却只有一个输入？
如何让人工神经元具有学习能力？
前馈神经网络和MLP的区别和联系？
…

1. 大脑神经网络和人工神经元

1.1 大脑神经元

（1）大脑：智能中心

• 重要性
  人类的智能行为都和大脑 活动有关。人类大脑是一个可以产生意识、思想和情感的器官。
• 复杂性
  人类大脑是人体最复杂的器官，由神经元、神经胶质细胞、神经干细胞和血管组成。
  人脑神经系统是一个非常复杂的组织，包含近860亿个神经元 [Azevedo et al., 2009]，每个神经元有上千个突触和其它神经元相连接。

（2）大脑神经元：智能的基本单位

神经元(Neuron)，也叫神经细胞(Nerve Cell)，是携带和传输信息的细胞，是人脑神经系统中最基本的单元。

• 具有输入和输出
  神经元可以接受其它神经元的信息，也可以发送信息给其它神经元。

• 只输出两种状态
  一个神经元可被视为一种只有两种状态的细胞:兴奋或抑制。（以前看这句话觉得可有可无，现在不了）
  神经元的状态取决于从其它的神经细胞收到的输入信号量，及突触强度(抑制或加强)。当信号量总和 超过了某个阈值时，细胞体就会兴奋，产生电脉冲。电脉冲沿着轴突并通过突 触传递到其它神经元。

  从这两点可以看出：

  一个神经元可以有多个输出却只有一个输出——要么兴奋要么抑制（1或0）
  一个神经元所接受的实际信息受到输入信号的量和突出强度决定，而其输出除此之外还受到阈值的控制。

人工神经元的设计依据的也就是这。（理解上述第一点内容极度重要，是关键！这也是激活函数至关重要的原因！）