Machine Learning:神经网络简介

神经网络（neural network，NN）是生物科学和信息科学交叉的产物。生物学家研究人脑神经的工作过程，发现神经元（神经细胞）和神经元之间通过突起(轴突和树突)的相连，神经细胞感受到刺激之后产生兴奋并通过细胞突起将兴奋传导给与之有连接的神经元。神经元的连接大多是相邻层间的连接，神经细胞总体上呈现分层结构，感受器中的神经接收外界刺激，神经中枢的神经元决定人脑的意识。如图为一个神经细胞的结构：

一个神经元和其它神经元的连接如下图所示：

        一个神经元通常和若干个神经元相连，连接有强有弱，不同的连接就像电子元件之间阻值不同的带阻导体。一个非输入神经元在兴奋传导过程中受到的刺激总和为与之相连的神经元传递来的兴奋之和。我们用Y表示一个神经元受到的兴奋之和，兴奋来自于n个与之相连的前层神经元，那么Y可以通过公式1来计算。在公式1中，x0=1，它并不是一个真实的兴奋输入，只是为了统一表示而虚拟出来的一个节点，w0反映神经元基础兴奋度。一个神经元与n个前层神经元相连，xi是n个前层神经元传来的兴奋值，wi 是其与前层n个神经元的连接紧密程度。

（公式1）

一个神经元受到总量为Y的刺激之后会在细胞内部转化一下，得到一个兴奋输出y，该输出将传导给与之相连的后层神经元。我们假设y与Y满足公式2（对应整形函数，可以有多种定义）。Sigmoid函数是一个S形函数，下图为sigmoid函数的图像。Sigmoid函数在定义域单调递增，当Y取0时，y=0.5；当Y趋向正无穷时，y=1；当Y趋向负无穷时，y=0。

（公式2 sigmoid函数）

（sigmoid function）