统计学习方法-第二章-感知机

在看了机器学习基石的感知机算法视频之后，把李航的统计学习方法的这部分内容也看了。

视频讲解更详尽更清晰一点，适合数学基础一般的同学学习之后再去看纯数学的推导过程，在理解算法的原理之后会更容易看懂推导（我就是这样劝自己的hhh）。具体的推导过程就不再解释了，会在下面补充一些内容。

1.之前听课的时候一直以为将数据集分隔开的是一条线，其实是一个超平面S，所以w向量会和这个平面垂直就更好理解了；

2.统计学习方法中引入了具体的损失函数，在视频中更多的是讲解PLA在存在“mistake data”的时候如何循环的过程；

损失函数是非负的，相当于x到超平面S的的距离（不可能为负），如果没有误分类点，损失函数为0；误分类点越少，误分类点就离超平面越近（我的理解，误分类点越少则正确分类的点就很多。误分类点会聚集在线的周围，此时超平面稍微动一点，就可能会有一个误分类点分类正确），损失函数值就越小。

3.感知机算法的“收敛性“等价于“PLA什么条件下才会停下来？”

4.统计学习方法的优点就是，在你深刻理解算法内涵的情况下带入实际的数据进行计算，能让你了解算法具体的操作过程，也能发现很多的问题。感知机算法由于初始值（w0,b0）不同或者选取不同的误分类点（x1和x2都是误分类点，先做x1和先做x2的顺序不同），解（线性模型）会完全不同。

总结：

误分类点的循环次数是有上界的，经过有限次搜索可以找到将训练数据完全正确分开的分离超平面。也就是说，当数据集线性可分的时候，感知机算法原始形式迭代是收敛的。但是感知机算法存在许多解，这些解既依赖于初值的选择也依赖于迭代过程中误分类点的选择顺序。