svr公式推导_ML-支持向量：SVM、SVC、SVR、SMO原理推导及实现

目录

1.导出目标

2拉格朗日转换

3对偶问题：

因为是希望得出L最小时的一些参数w,b,a，但是目前很难一起求得最佳参数，所以换个思路。因为：

所以能够容易的计算出拉格朗日乘子a约束时的最坏情况是：

但是m个a的值还是无法求出，而后面会得知，根据L对w,b的求导关系，w,b可以被a表示出来，所以关键变为求a。

根据对偶关系，极大值关系可以转为极小值关系，且转换后的问题会不大于原问题，在取得极值的时候才取等号，也就是：

这样问题变为，先把w,b求导关系代入求L极小值关系，最后再寻找a的问题，最后a的求解会通过SMO等思路求解，具体SMO放到最后讲解，因为太难了。

4求对偶问题

1)求L的极小值时的w,b，求导：

得出极小值需满足如上这些关系

2)代入L求导关系式，求关于a的极大值：

所以关键是对这个函数求极大值时的a，假设通过后面的SMO找到了，记为a*，那么显然得到了w的解析式：

5 求b

因为对于所有支持向量点(正例上支持向量点位于WTx+b = 1超平面上，反例WTx+b= -1)记作(xs,ys)，均有:

根据KKT条件：ai>0时，yi(WTxi+b)-1=0：(必定：WTxi+b = 1 或WTxi+b= -1)即xi必须是支持向量点，而ai=0时:

也就是说对w无影响，因此上式中w还可以简化成只考虑支持向量点计算(实际上这就是SVM称为支持向量机的原因，因为模型真正起作用的，就只是这些支持向量点)：

假设我们有S个支持向量(位于WTx+b = 1，WTx+b= -1超平面上的点集)，则对应我们求出S个b∗,理论上这些b∗都可以作为最终的结果， 但是我们一般采用一种更健壮的办法，即求出所有支持向量所对应的b∗，然后将其平均值作为最后的结果：

6 得出模型

ai参数求出之后，如上所示，就相当于求出了w,b了。就可以得到模型，进行预测了：

def _f(self, i):

r = self.b

for j in range(self.m):

r += self.alpha[j] * self.Y[j] * self.kernel(self.X[i], self.X[j])

return r

6.1 f(x)的约束条件：

7 核函数

现实中可能有些不存在线性的可分超平面，但是可能映射到更高维度可能就可分了，有证明显示，如果原始空间维度有限，那么一定存在高维特征空间使样本可分。