神经网络和反向传播算法推导

注：由于自己画图实在太难画，本文中基本所有插图来源于算法团子机器学习班，请勿转载

1.普通的机器学习模型：

其实，基本上所有的基本机器学习模型都可以概括为以下的特征：根据某个函数，将输入计算并输出。图形化表示为下图：

当我们的g(h)为sigmoid函数时候，它就是一个逻辑回归的分类器。当g(h)是一个只能取0或1值的函数时，它就是一个感知机。那么问题来了，这一类模型有明显缺陷：当模型线性不可分的时候，或者所选取得特征不完备（或者不够准确）的时候，上述分类器效果并不是特别喜人。如下例：

我们可以很轻易的用一个感知机模型（感知器算法）来实现一个逻辑与（and），逻辑或（or）和逻辑或取反的感知器模型，（感知器模型算法链接），因为上述三种模型是线性可分的。但是，如果我们用感知器模型取实现一个逻辑非异或（相同为1，不同为0），我们的训练模型的所有输出都会是错误的，该模型线性不可分！