深度学习发展历程

神经网络

一、神经元
1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP。

1、结构
神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元 的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。
　 下图是一个典型的神经元模型：包含有3个输入，1个输出，以及2个计算功能。
　　注意中间的箭头线。这些线称为“连接”。每个上有一个“权值”。

连接是神经元中最重要的东西。每一个连接上都有一个权重。

一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。

我们使用a来表示输入，用w来表示权值。一个表示连接的有向箭头可以这样理解：在初端，传递的信号大小仍然是a，端中间有加权参数w，经过这个加权后的信号会变成aw，因此在连接的末端，信号的大小就变成了aw。

可见z是在输入和权值的线性加权和叠加了一个函数g的值。在MP模型里，函数g是sgn