NLP 2.4: Kernel trick 和svm

1、Linear SVM的缺点

无法将非线性的数据分开

解决：

• 1、把数据映射到高维空间
• 2、使用神经网络

2、数据映射到高维空间

缺点：

• 复杂度的增加

Kernel trick使用可以W维持时间复杂度

3、拉格朗日等号处理条件

Multiple equalities

4、拉格朗日不等式条件处理

5、KKT条件

6、KKT Condition of SVM

7、Primal-Dual problem

为什么要转换为对偶问题：

• primal 问题可能会很难解决
• dual问题上可能会发现一些有趣的insight

primal上如果是optimal的，dual问题是sub-optimal的解，会比primal的解稍微差一些。

8、SVM 的 dual derivation

9、Kernel Trick

将输入通过一个核函数映射到高维空间。
输入通过核函数后，在计算内积的时候不依赖于高维空间的数据，还是根据输入数据进行计算。

设计一个核函数，使得数据映射到高维空间，但在做内积计算时依然保持原有的时间复杂度。
不仅仅对于SVM，使用k-means也可以使用

Kernel种类

• linear kernel
• Gaussian kernel：高斯核
• Polynomial kernel: 多项式核