数据挖掘：模型选择——SVM

本文主要参考B站UP主春暖花开Abela讲解的SVM，对SVM的学习进行的整理。另外也推荐B站的白板推导，对数学公式讲解的更为细致。

最优化问题

在一定条件下，解决求函数的最大/最小值的问题。

拉格朗日乘子法

拉格朗日乘子法计算模型如下。k为约束条件的个数，hk(x)为约束条件。

相切的时候取极值，此时两个函数的梯度共线，所以两个函数分别求导后，应该是线性关系。
将有约束的问题转为无约束的问题，然后直接对无约束问题求导即可。

KKT算法

处理不等式约束时的数学模型。

利用KKT条件构建拉格朗日函数。

具体的KKT条件如下：
1.对于构建后的拉格朗日函数，对x求导后，式子结果为0.
2.不等式前的系数要大于等于0.

对偶问题

如果原来的优化问题不容易求解，那么可以通过对偶问题进行求解。先求最大值，再求最小值。在满足KKT条件的时候，这样就等价于对原始的f(x)求最小值。

关于为什么两者是等价的问题证明。