神经网络基础

1. 神经网络基础概念

神经网络是机器学习中的一种模型，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。神经网络最开始是受生物神经系统的启发，为了模拟生物神经系统而出现的。生物神经系统中最基本的计算单元是神经元。

1.1 神经元

每个神经元从它的树突(dendrites)接受输入信号，沿着唯一的轴突（axon）产生输出信号，而轴突通过分支（branches of axon），通过突触（synapses）连接到其他神经元的树突，神经元之间就这通过这样的连接，进行传递。如下图所示：

为了模拟神经系统，人们就构建了相应的数学模型 也就是“M-P神经元模型”。如下图：

从上图M-P神经元模型可以看出，神经元的输出是
$$y=f(\sum w_i{x}_i+b)$$

其中$x_i$,是其他神经元沿着轴突通过突触、树突传送到此神经元的输入信号，该神经元通过与对应的$w_i$参数（该参数表示该输入对该神经元影响的大小）相乘、求和等，得到最终的输出。其中$f$为激活函数（activation funtion），$b$表示偏置项（bias）。

由激活函数给出最后的输出，往往是二进制的，0 状态代表抑制，1 状态代表激活。也就是：

y = { 0 , i f ∑ w i x i + b ≤ 0 1 , i f ∑ w i x i + b > 0 y= \begin{cases} 0, &if \sum w_i x_i+b \le 0\\ 1, &if \sum w_i x_i+b>0 \end{cases} y={ 0,1,​if∑wi​x