一、证明思想描述
参数说明: :算法停止时总的迭代次数
wt :算法第 t 轮迭代停止时的权值向量
wf :假设目标函数 f 的权值向量
算法目的:经过 t 轮迭代,找到与wf无限接近的参数wt,即g(wt)≈f(wf);并且 t 需收敛,即不能无限次迭代,算法无法终止。
证明方法:两个向量wt、wf 无限接近,即相似。常用方法:求其内积wt·wf(内积越大,两者越相似)。
存在问题:内积wt·wf增大有两种可能:1、两向量夹角越小 2、向量本身长度越长; 显然排除2,故需要求解这两个向量规范化后的内积,这时上界为1。
综上所述:证明PLA算法的收敛性,即证权值向量W在经历 t 轮迭代之后是否会停止更新,即 t 是否存在上界。
假设数据集D是线性可分的,PLA是否会停止?即找到这样一条直线?
二、证明过程
心得感悟:难得学不会,是因为简单得没学好。重概念,概念理解透彻,一切难题都是纸老虎!