SVM学习

#coding =utf-8

'''

最终可以转化为凸二次规划的问题求解

目标：分类间隔最大化，即里超平面最近的点，到超平面的距离最大


拉格朗日乘法数：等式约束条件的极值问题

KKT条件：不等式约束条件的极值问题

拉格朗日对偶性：在约束条件下，将原问题转化为对偶问题，通过求对偶问题来求解原问题


超平面的数学表达: y=W.T*x+b

点到直线的距离: dis = |w.T*x+b|/|w.T|

f(w.T*x+b)=-1
f(w.T*x+b)=1

u= W.T*x+b

u<0 时 f(u)=-1
u>0 时 f(u)=1

SVM求解过程
    1.找到支持向量，离分隔超平面最近的点，支持向量的个数可以动态改变
    2.在间隔最大的约束条件下，找到w,b
        用到的数学方法:
            1.拉格朗日乘子
            2.KKT条件(不等式约束条件)

优化对象
max γ˜

约束条件
yi(wTxi+b)=γˆi≥γˆ,i=1,…,n

超平面方程：
w.T*x+b=0

超平面将空间分为两面：可以立即为正面，负面  -1:表示正面 1：表示负面
另f(x)=W.T*x+b

如果f(x)<0 则称为x在超平面的负面
如果f(x)>0 则称为x在超平面的正面


假设点A = yf(x) 则点x的值1
    则说明：x是超平面方程 W.T*x+b=1上的点

函数W.T*x+b=0,与函数W.T+x+b=1的间距就是  yf(x)

点到超平面的距离： x=x0+r*w/|w| 其中x0是超平面 W.T*x+b=0上的点，r到超平面的距离，w为超平面法向量，垂直超平面
则：
    r=yf(x)/|w|

最终优化到不用求点到直线的距离


目标：最近的点，最远的间距


yf(x)>1


'''