林轩田机器学习基石——Guarantee of PLA

PLA: PerceptronLearning Algorithm

这节课介绍了什么情况下PLA算法能够终止，终止条件是什么？

1. 线性可分性

PLA能够终止的条件，即 no more mistakes，所有的点都被找到的超平面正确的分类，无一例外。

那么首先，我们的数据集就需要是线性可分的(Linear Separability)，只有所有的数据点是线性可分的，才有可能找到一个能够将它们完美地分开的超平面，否则PLA将永远不会停止。

先来看看什么样的data是符合线性可分的条件的：

在这幅图中，左边第一个是线性可分的，后面两个都不是，第三个虽然看起来可以用一个圆把它们分开，但注意，这不是线性的超平面。
2. 终止条件

当我们的数据是线性可分的，那么PLA是否一定会终止呢？

假设理想的超平面是wf，我们迭代第t次时得到的超平面是wt，两者是否会越来越接近呢？

上式仅仅证明了一半, 因为两个向量的内积越大，有可能是因为角度越接近, 卻也有可能是因为向量长度越长。因此，做了T次修正后，我们在上式的基础上有：

这里的w0=0是因为我们的分类标签是+1和-1，设置的阈值为0。

另外，从wt的角度出发，我们有：

类似地，做了T次修正后，我们有：

现在可以计算wf和wt的夹角余弦了：

cos的最大值是1，也就是说上式的最大值为1，那么最大迭代次数T就是这么多啦：

总结一下，在数据是线性可分的情况下，我们可以证明PLA算法的迭代次数是有限的，即会终止的。