感知机的收敛性(Novikoff定理)证明
定理如下
----------------------------------------------------------------------------------------
证明如下:
(1)
因为训练数据是线性可分的,所以存在超平面可使得数据完全分开,记此超平面为
令:
则
则
对于 有
----------------------------------------------------------------------------------------
(2)首先证明两个不等式:
证明第一个:
令感知机算法的初始值为若存在实例误分类,则需要不断更新权重
令wk-1是进行第k个误分类之前的权重,即
则第k步更新过程为
则
则
得
证明第二个不等式:
综合上述:
END