神经网络相关

神经网络是深度学习的基础，也是机器学习的一种重要方法，在这里，我们首先一起来学习下神经网络。

典型神经网络模型：

神经网络模型通常包含 输入层、隐含层、输出层 ，一般前一层的输出当做后一层的输入，层与层之间的神经元相互有影响，但是同一层的神经元相互独立，通过模拟人类大脑神经结构处理信息活动来实现自身学习，达到处理信息的目的。

BP神经网络模型（反向传播神经网络模型）：

大致思想是：

1、选择适当的激活函数后，首先将所有参数（包括各层各神经元之间的权重参数和偏置值）随机取值，按从输入层到输出层的方向，计算每一层的激活值（输出值），直到计算输出层的输出值；

2、计算输出层每个神经元的残差，即网络产生的激活值与实际值之间的差距；

3、由输出层向输入层，反向计算每层每个神经元的残差；

4、用代价函数（目标函数）对每个参数（包括各层各神经元之间的权重参数和偏置值）求偏导数，并将上述第2、3步求出的残差，以及相应的激活值代入，令偏导数等于0，即可求出每个参数的值。

5、将第1步各参数随机取值的参数值，用step4计算出的参数值代替，以此达到通过梯度下降算法来调整参数的目的。

这种通过从后往前，逐步调整神经网络参数的模型，称为BP神经网络模型。

BP神经网络的具体推导过程，可以参考：http://ufldl.stanford.edu/wiki/index.php/反向传导算法