机器学习（八）前馈神经网络

本文由 @lonelyrains 出品，转载请注明出处。 
文章链接： http://blog.csdn.net/lonelyrains/article/details/49150471

前馈神经网络用于处理复杂的非线性分类情况。相比线性回归、logistic回归，提高灵活性的同时，又不太会有过拟合、组合爆炸的情况。

神经网络的结点内部是Sigmoid函数，外部有输入、Theta加权值。最后一级网络层如果只有一个输出结点，最后两级网络就构成一个逻辑回归分类器。

首先需要理解将逻辑回归分类用作确定多类型集的分类。例如手写体数字识别有10种数字。即是对最终结点等于K=10种结果中的一种的概率做一个估计，然后判定为是最有可能的结果。例如手写一个1的20X20像素的图片，有0.9的概率被分类器识别为1，有0.01的概率被识别为2，....，有接近于0的概率被识别为9（概率和一定是1吗？不一定）。为了确定最优的参数矩阵Theta（20X20维度），需要对已有结果和例程使用梯度向量法求解。然后再用计算好的Theta重验一次或者进行新手写体数据的识别。

前馈神经网络的原理：

仿生人类大脑，抽象出的神经元模型，使用单一算法完成多类型传感的学习和识别。

前馈神经网络与多类型逻辑回归的区别：

复杂的非线性分类，如果使用多类型逻辑回归，会出现组合爆炸式的高阶输入，出现过拟合、不够灵活。

前馈神经网络的使用方法：

  使用下述参数矩阵确定方法选定好的参数矩阵，对已有样本进行预测，得到正确率。

前馈神经网络参数矩阵的确定方法：  

   在下一节中给出：机器学习（九）反向传播算法