神经网络的通俗理解

1. 神经网络的功能

根据已有的样本，得到样本中的输入与输出之间的模型。用该模型预测未知输入的输出。

2. 神经网络的要点

（1）神经网络需要有足够强的表达能力，可以表达出任何模型。理论证明多层神经网络具有该特征。神经网络为了具有非线性表达能力，需要引入激活函数。因为单个神经网络节点接收输入，乘以权值，加上偏置，均为线性计算过程。若不引入非线性的激活函数，那么无论多少层神经网络，依旧只是线性模型，表达能力十分有限。

（2）需要一种指标，评价神经网络的性能。从神经网络的目的出发，神经网络是根据输入，来预测输出。因而可以通过计算其预测值与实际值的误差，来评价神经网络的性能。由于训练数据是多组数据，因而使用多组预测值的均方误差来评价神经网络的优劣。

（3）既然已经确定了均方误差来评价神经网络的优劣，那么怎么样使均方误差最小，是神经网络需要解决的问题。

（4）以上问题，实际是求取均方误差最小值的问题。从数学上来说，求最小值，可以通过求导数来解决。对于神经网络来说，均方误差是因变量，神经网络中的参数是自变量。这是一个求因变量取最小值时，自变量的值的问题。

（5）既然需要通过求导数来计算最优参数，那么需要参数对误差可导。从神经网络的结构来说，有两部分计算，一部分是输入*权值+偏置，这一部分是可导的，另一部分是激活函数。所以需要激活函数可导，且最好激活函数导数容易求得。据此，激活函数不能选用阶跃函数，阶跃函数在定义域内，要么不可导，要么导数为0，皆不利于通过导数计算最优参数值。

（6）即使理论上，可通过解析求得神经网络的参数，但计算十分复杂。需要一种策略，让程序能够自己根据训练集，求得最优参数。学习的策略如下：求取误差对各个参数的偏导数，并通过偏导数来更新误差值，使误差值不断减小。神经网络参数对误差的偏导数的实质是参数的变化引起的误差变化的大小，当偏导数大于0时，表明参数增加，会使误差增加，偏导数小于0时，参数增加，误差减小。因而，求取偏导数后，使参数向着偏导数相反的方向变化，可减小误差。不断重复该步骤，直到误差减小到设定的值，或者迭代次数达到设定次数为止。

（7）极小值与最小值：

（8）误差对参数的偏导数的计算：