-----------------------------------------------------需要死记硬背的部分---------------------------------------------
超平面划分正负数据
支持向量上对应的公式:
转换为:
转换为:
正样例yi=1,此时
负样例yi=-1,此时
综上可得:
支持向量到划分超平面的距离和:
训练目标:
s.t.
最终得到原问题为:
s.t.
设拉格朗日乘子式:
则原问题去掉约束之后的等价问题为:
其对偶问题为:
先求部分:
得到:
得到:
将w,b代回L得到:
于是对偶问题为:
s.t.
KKT条件
求比较麻烦,改求
s.t.
使用SMO算法进行求解,需要把一系列alpha中两个看成常量,其他全部固定看成常数。因为,如果只选择一个alpha会破坏这个约束。
如果SVM考虑容错部分离群点,支持向量机的约束改为:
目标改为:
如果需要考虑高维度上的分类,则需要用到核函数,比如高斯核函数。
---------------------------------------正常解读---------------------------------------------------------------------
本文参考:
拉格朗日对偶问题的解释_沧海磐石的博客-CSDN博客_拉格朗日对偶问题
SVM算法详解_lzk_nus的博客-CSDN博客_svm算法
先看对偶问题的解释:
再看SVM的推导