机器学习——神经网络(Neural Network)

1、MP模型

Mp模型是最基础，最原始的神经网络模型。MP模型是1943年心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立的。它的主要结构如图1所示。

图1 (来源于浙江大学胡浩基老师的机器学习课程)

2、感知器算法

感知器算法是在MP模型的基础上发展来的，主要可以解决我们在上一节中提到的线性可分问题。主要的算法流程如下所示：
(1) 随机选取和;

(2) 选取一个训练样本(X,y), 对于这个训练样本作如下判断：

      if , 

      if , 

(3) 选取下一个训练样本(X,y), 回到步骤(2)；

(4) 直至所有的训练样本都不满足步骤(2)中的两个条件，则结束循环。

3、多层神经网络

之前的感知机算法不能解决线性不可分问题，为了更好的解决这一问题，人们提出了多层神经网。

上图证明了多层神经网络中非线性映射函数的重要性，在神经网络中主要使用阶跃函数。

 

 

 但是在实际应用中，往往模型的结构是未知且参数也是未知的。网络的设计也是在长期的实践中得出来的经验，主要有以下两个准则：

A. 如果问题是简单的，神经网络的层数与每层神经元的个数都可以适当减小；如果问题是复杂的，神经网络需要的层数与每层神经元的个数也可以适当增加；