本文详细介绍了支持向量机（SVM）的原理，包括目标是寻找最大间隔的超平面，以及如何通过核函数解决线性不可分问题。此外，还探讨了SVM的软间隔、对偶问题和SMO算法。最后，讨论了不同核函数的选择，如线性、多项式和高斯核，以及它们在不同场景下的适用性，并重点阐述了高斯核函数（RBF）的参数调整对模型的影响。
目标：二分类问题。找出让二个类分开的最大间隔。即找到一个超平面把两个类分开，出现最大间隔。其实就是支持向量到超平面的距离最大。处于决策面上的点叫支持向量SV。
超平面的表达式：
w T x + γ = 0 w^Tx+\gamma=0 wTx+γ=0
支持向量到超平面的距离：
我们提高要求，假设决策面正好处于间隔区域的中轴线上，并且相应的支持向量对应的样本点到决策面的距离为d，那么就可以进一步写成：
两个不等式的左右两边除上d，就可得到：
其中 w d = w ∣ ∣ w ∣ ∣ d w_d=\frac{w}{||w||d} wd=∣∣w∣∣dw , r d = r ∣ ∣ w ∣ ∣ d r_d=\frac{r}{||w||d} rd=∣∣w∣∣dr.
所以 d = ∣ w d x s + γ d ∣ ∣ ∣ w d ∣ ∣ = ∣ w ∣ ∣ w ∣ ∣ d x s + γ ∣ ∣ w ∣ ∣ d γ d ∣ ∣ ∣ w d ∣ ∣ d=\frac{|w_dx_s+\gamma_d|}{||w_d||}=\frac{|\frac{w}{||w||d}x_s+\frac{\gamma}{||w||d}\gamma_d|}{||w_d||} d=∣∣wd∣∣∣wdxs+γd∣=∣∣wd∣∣∣∣∣w∣∣dwxs+∣∣w∣∣dγγd∣
由因为 ∣ w T x s + γ ∣ = d ∣ ∣ w ∣ ∣ |w^Tx_s+\gamma|=d||w|| ∣wTxs
最低0.47元/天 解锁文章
488
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
