前馈神经网络——神经元

前馈神经网络——神经元

引言
人工神经网络(artificial neutral network) 是受生物神经网络启发而开发，由神经元连接组成的网络状机器学习模型。其中，前馈神经网络(feedforward neural network)、多层感知机(multilayer perceptron，MLP)是最具代表的神经网络，主要用于监督学习，如分类、回归等。
前馈神经网络由多层神经元组成，层间的神经元相互连接，层内的神经元不相连。
信息处理机制：前一层神经元通过层间连接向后一层神经元传递信号，因为信号是从前往后传递的，所以是“前馈的”信息处理网络。这里，神经元是对多个输入信号（实数向量）进行非线性转换产生的一个输出信号（实数值）的函数，整个神经网络是对多个输入信号（实数向量）进行多次非线性转换产生多个输出信号（同实数向量）的复合函数。每一个神经元的函数还有参数，神经网络的神经元的参数通过学习得到。当前馈神经网络的层数达到一定数量时（一般大于2），又称为深度神经网络（deep neural network，DNN）。
前馈神经网络学习算法是反向传播算法（back propagation），是随机梯度下降算法的具体实现。学习的损失函数通常在分类时是交叉熵，在回归时是平方损失，其最小化等价于极大似然估计。学习的正则化方法包括早停法（early stopping）、退出法（dropout）。
前馈神经网络模型
神经网络是由神经元连接组成的网络，采用不同类型的神经元以及神经元的不同连接方法可以构成不同的网络结构，也就是不同的神经网络模型。
神经元
神经网络的基本单元，本质上是一个函数。类推生物神经元，人工神经元是以实数值向量为输入，实数值为输出的非线性函数，是从多个输入信号（实数值向量）到一个输出信号（实数值）的非线性转换。非线性函数定义如下：

$$y=f(x_1,x_2,\dots x_n)=a(\sum _{i=1}^{i=n}{w}_i\ast x_i+b)$$

其中$x_i$ 是输入，取实数值；$y$是输出，取实数值；$w_i$是权重， b b