svm算法

支持向量机（理论）

svm:找出最好的线分开
找到最大间隙的算法叫做：优化
如何将二维投射到三维——核函数kernelling
svm是的中间的2d最大
范数就是求向量的模
不用考虑中间2d有多大，都可以把两类设置成+1和-1.宽是d的问题。

拉格朗日乘子法

线性svm优化

KKT条件——广义的拉格朗日乘子法

了解smo

非线性分类

将2维空间映射到5维空间，w^t是5维向量，b是第6维
一维空间不可分映射到高维空间，不一定可分；要找到合适的函数才可分。
高维空间映射可以通过低围函数变化得到高维表达式—原来线性不可分的问题可以通过函数变换，达到线性可分。核函数就是低维变换为高维的函数。
维度灾难：维度越来越大，维度越高，计算越麻烦。
径向基———高斯核函数，高斯核最常用
高斯核，sigmoid—二分类
核函数作用：从低维映射到高维

sklearn_svm实现：

https://scikit-learn.org/stable/
我们一般调svm的参数调c,gamma

c是惩罚因子，惩罚因子不能太大
gamma将曲线越分越精确，将曲线变尖；gamma越大，泛化能力越小；一般情况下，惩罚因子都会调的很大。