算法-SVM

​​​​​​​

对于一条直线：

y = 1/2 * x + 1 来说。

换个形式：

-x + 2y - 1 = 0

f(x, y) = -x + 2y - 1

把系数提出来，w = (-1 2)竖着的， 这个（-1 2）就是直线f(x, y)的法向量

f(x->) = w -> T . x -> + b,对于二维来说，x = (x1, x2),n维的话 x = (x1, x2 ,,,,xn)

如果给定一个x->, 如果f(x->) > 0, 说明x -> 在f(x, y) 的法向量方向；

如果f(x->) == 0, 说明x -> 在f(x, y) 上；二维是直线，三维是平面，n维是超平面

如果f(x->) < 0, 说明x -> 在f(x, y) 的负法向量方向

 c 越大，分割界面的过渡带越窄

c相同，γ越大，分割界限越曲，非线性越强烈

f(x y) = Ax + By + C = 0 直线方程

如果一个点(x0, y0)到直线f(x y)的距离

d = |Ax0 + By0 + C|/ 根号(A^2 + B^2),这个正负说明正在直线法向量方向，负在直线负法向量方向

所以

d = (Ax0 + By0 + C)/ 根号(A^2 + B^2)

设 A' = A/根号(A^2 + B^2)

B' = B/根号(A^2 + B^2)

C' = C/根号(A^2 + B^2)

d = A'x0 + B'y0 + C'

一样可以写成：

d = w-> . x-> + b的形式。

||w||2 = 根号下(w1^2 + w2^2 + w3^2 + ... + wn^2)

 

最小值是支撑点，给定一个w和b的话就会有个min值，我们要找最大的那条。

 

我们可以通过等比例缩放w，使得满足|y| >= 1

 所以这部分的最小值就是1，当然要满足上面的约束条件。

所以新目标函数：

1/||w|| 最大  ---》||w||最小---》||w||^2最小---》1/2 * ||w||^2最小 

 

拉格朗日函数，f(x)是不等式的约束条件，h(x)是等式的约束条件

在原来f(x)上将约束条件放进去组成G（x, ν，λ） 

如果将每个ν看成自变量，我们可以得到n条直线，最小值肯定是个凹函数，我们也可以求这个凹函数的最大值 

 结论：将原始的求最小最大问题变成了求最大最小问题。