PLA

实验一

• PLA算法

  • 适用问题

    二维或者高维的 线性可分问题的分类。如果不是线性可分，使用Pocket改正算法，类似贪心的法则找到一个最适合的。

  • 原理

    设有向量,、标量threshold,则预测函数可表示为。若X增加一维，W增加一维,则进一步预测函数可表示为。PLA算法的任务就是找W。

  • 取二维情况，即,,假设训练集，由于X中的，所以可以将训练集的点在二维图中画出：

• • PLA算法如何找W：

    • 初始化W=

    • 从训练集D中取一个样本(X,y)，得到预测值,将预测值和y比较，若相同，则进行下一次迭代；若不同，则更新

    • 重复迭代直到所有样本都分类正确（若线性可分，迭代可以终止）

      • 证明：

• 代码

  •