- 建立思想
- 将思想转化为数学表达式(数学模型)
- 这个数学模型就是一个优化问题,求解这个优化问题即可。(梯度下降,EM算法,等等其他)
SVM思想及其数学模型
SVM有三宝:间隔,对偶,核技巧
SVM分三类:
- hard-margin SVM
- soft-margin SVM
- kernel SVM
SVM的中心思想:
用数学模型来表示SVM的中心思想
下一步,就是要用数学公式表示出 margin(w, b)
具体思路可见
https://blog.csdn.net/MosBest/article/details/52017312
得出 margin(w,b) 是
所以,公式变成
以上就是我们得到的关于 SVM思想的最佳数学模型。
很显然,这是一个典型的凸优化问题。
在本模型中:限制条件为 线性,最优化的是二次函数
SVM是一个强对偶问题,则就有
即,就有
最终的就是: