第一章 感知器

1、感知器简介

    感知器是第一个从算法上完整描述的神经网络，它的发明者Rosenblatt是一位心理学家，建立在一个非线性神经元上。它是一种二元分类器。把矩阵上的输入（实数值向量）映射到输出值一个二元的值函数：

 

2、感知器收敛定理

目的：导出感知器的误差修正算法

定义：

（1）（m+1）*1个输入向量：

   ，

（2）（m+1）*1个权值向量：

   。

（3）线性组合器的输出可以写成紧凑形式：

    。

（4）为了使感知器能够正确工作，和必须是线性可分的，即如下图所示：

证明：

假设感知器的输入变量来源于两个线性可分类的变量。即存在一个权值向量w具有以下性质：

（1）假如训练集合的第n个成员根据算法，第n次迭代后的权值向量w(n)能正确分类，那么感知器的权值向量按下述规则不做修改：

（2）否则，感知器的权值向量根据以下规则进行修改：

 在这里控制着第n次迭代时，权值向量的调节。

（3）首先证明当η=1时固定增量自适应规则的收敛性,利用（2）中第二行公式有：

（4）因为是线性可分的，因此不等式方程存在一个解，满足：

即：

下面遵循另一条发展路线：

通过对式(1.13)同取欧几里得范数的平方，得到：

令：

 

3、感知器算法