《机器学习技法》第3课笔记 Kernel核函数

课程来源：林轩田《机器学习技法》

课程地址： https://www.bilibili.com/video/av12469267/?p=1

1. z是转换后的高维空间，那么我们要算ztz，就要先把x转换到z，然后再算z的内积。能不能偷吃步，不用算高维空间的内积？

2. 假设这样一个转换函数，它会求x内两两元素的组合，通过这样转换到高维空间。

那么将它展开，可以一直化简，最后我们只要算xx的内积就行了。

这样就把O（d²）问题转化为O（d）问题了。

3. 我们称类似这样的运算就是核函数

4. 求b与超平面的问题，都可以通过将w展开，转换为核函数计算问题

5. 通过核函数方法，各个步骤所需要的计算复杂度

6. 对现有核函数进行一些微小的改动，就可以使算式更一般，也更容易 计算，并能投影到更复杂的空间中

7. 调整参数就会使超平面变化，越高越复杂

8. 进一步，我们也可以对指数进行转换。这时候我们就能投影到更复杂的空间中去

9. 当指数为1时，就退化为线性SVM。一般线性SVM更快，建议一开始都先用线性SVM试试

10. 使用高斯核函数进行无限多维的转换

1）先将高斯函数泰勒展开

2）将x和x'分离，发现它们长得一样

3）高斯函数里藏着无限多维的转换

11. 更一般的高斯核函数

12. 会发现，计算超平面的时候，其实就是以支持向量为中心的多个高斯函数的线性组合

13. 我们现在的计算简化

1）通过核函数偷吃步，把转换到高位空间的z用核函数代替了

2）不用遍历所有w，只要遍历支持向量就行

14. γ（伽马）越大，越容易过拟合

15. 线性核函数的优缺点

1）优点：

a. 安全

b. 快速

c. 容易理解

2）缺点：

a. 不能处理非线性边界

16. 多项式核函数（polynomial）

1）优点：

a. 适用更多情况

b. 引入我们的物理认知：几维空间能划分

2）缺点：

a. 当Q很大时，取值会趋近于0或者无穷大

b. 三个参数，参数组合很多

17. 高斯核函数

1）优点：

a. 更强大的区分能力

b. 有限：计算比多项式核函数简单

c. 只有一个参数，比较好调参

2）缺点：

a. 难以解释，每次都是映射到无穷维空间

b. 速度慢

c. 容易过拟合

18. kernel是一种计算向量相似性的方法，但是并不是所有计算相似性的方法都可以是kernel。

kernel的充要条件，是形成的ZZt必须是半正定矩阵

19. 总结