感知机的收敛性（Novikoff定理）证明

感知机的收敛性（Novikoff定理）证明

定理如下

----------------------------------------------------------------------------------------

证明如下：

（1）

因为训练数据是线性可分的，所以存在超平面可使得数据完全分开，记此超平面为

                   令：                                                                                                                                                                      

                  则

 

  则

对于 有

----------------------------------------------------------------------------------------

（2）首先证明两个不等式：

证明第一个：

令感知机算法的初始值为

若存在实例误分类，则需要不断更新权重

令wk-1是进行第k个误分类之前的权重，即

则第k步更新过程为

则

则

得

证明第二个不等式：

综合上述：

------------------------------------------------------------------------------------------------

END