感知器学习算法PLA的收敛性证明

一、证明思想描述

参数说明： ：算法停止时总的迭代次数
wt ：算法第 t 轮迭代停止时的权值向量
wf ：假设目标函数 f 的权值向量
算法目的：经过 t 轮迭代，找到与wf无限接近的参数wt，即g(wt)≈f(wf)；并且 t 需收敛，即不能无限次迭代，算法无法终止。
证明方法：两个向量wt、wf 无限接近，即相似。常用方法：求其内积wt·wf（内积越大，两者越相似）。
存在问题：内积wt·wf增大有两种可能：1、两向量夹角越小 2、向量本身长度越长； 显然排除2，故需要求解这两个向量规范化后的内积，这时上界为1。
综上所述：证明PLA算法的收敛性，即证权值向量W在经历 t 轮迭代之后是否会停止更新，即 t 是否存在上界。

假设数据集D是线性可分的，PLA是否会停止？即找到这样一条直线？

二、证明过程

心得感悟：难得学不会，是因为简单得没学好。重概念，概念理解透彻，一切难题都是纸老虎！