《机器学习技法》第4课笔记 Soft Kernel

课程来源：林轩田《机器学习技法》

课程地址： https://www.bilibili.com/video/av12469267/?p=1

1. 如何放宽一些条件，提高泛化能力？

借鉴pocket方法，允许一定数量的点犯错，但是犯错的点越少越好。

2. 但是这样有两个问题

1）不再是线性，不能用二次规划解

2）不能区分犯大错和小错的情况

3. 因此改成根据错误的大小来惩罚，这样又变回了线性问题，可以用QP解

4. 开始转换成拉格朗日对偶问题

1）分成二次项和一次项两部分

2）同样，用求导的方式消去一些值

3）带入，消掉

4）剩下的问题变得很熟悉了，只是多了一个限制条件

5. 如何解b？

1）想办法让Es为0，那么就需要（C-an）不为0，那么只要能找到这样一个an，就能解出b了

2）有少数情况没有这样的an（all an=C），那么这时候b就有多个解了

6. Soft Kernel下C参数对分类平面的影响

7. an三种情况对应的三种点

1）an=0，此时En=0，是在安全的区域内

2）0<an<C，此时En=0，是支持向量

3）an=C，此时En=1-yn（wTz+b），是在惩罚区域内

8. 证明：采用留一法做交叉验证时，最大误差不会超过 支持向量的数量/样本量N（本质是因为非支持向量不影响模型质量）

9. 因此可以用支持向量数量做一个上限分析，如果支持向量太多，误差的上限会很高，比较不安全

10. 总结