数学建模

支持向量机
支持向量机 支持向量机是用来干嘛的？     一、支持向量机原理（SVM）1、线性回归原理 线性回归就是试图找到一条直线，让每个点在沿Y轴方向到该直线的距离越短越好。即它们之间的距离的平方和最小。设该直线为：y=wx+b; 则线性回归表达式为：∑（wxi+b-yi）^2=J(w,b) 线性回归模型：minJ（w，b）二、线性分类器再回顾一下线性分类器。设有数据集D={xi,yi}Ni=1,yi∈{−1,1}D={xi,yi}i=1N,yi∈{−1,1}, xi为K维列向量， 即x∈RK×1。yi表示xi所属的类，其取值为1和-1。 我们的目标是想找出一条线y=wTx+b,使得对于所有的xi 都有 yi(wTxi+b)>0yi(wTxi+b)>0 这个公式的意义在于， 当y_i为1的时候， wTxi+b 要求为正数，这样他们的成绩为正，当yiy为-1时，wTxi+b 要求为负数，这样乘积仍然为正。 找到这样一组w和b后，将新的数据x带入wTx+b如果结果为正，则属于1类，结果为负，属于-1类。就完成了分类3 公式推导   3.1 点到直线的距离 设有x′和x″位于 分割线（推广到多维称 超平面）上，则满足分割线的公式，即 wTx′+b=0 wTx′′+b=0 两式相减，得到 wT(x′−x′′)=0 因为x’和x”都是超平面上的点，那么x’-x”这个向量就是超平面上的向量。 这个向量与w^T的内积为0，说明w和x’-x” 相互垂直， w为超平面的法向量。   任意一点x到平面的距离  就是 x-x’这个向量在w方向上的投影的长度。如图   dist(x,h)=|wT||w||(x−x′)|=|wTx+b|||w||dist(x,h)=|wT||w||(x−x′)|=|wTx+b|||w|| 对于可以正确分类的超平面，都满足线性分类器的条件，即   yi(wTxi+b)>0yi(wTxi+b)>0 那么就可以去掉上述公式中的绝对值。 dist(xi,h)=yi(wTxi+b)||w||dist(xi,h)=yi(wTxi+b)||w|| 上述“最胖”的概念就可以用下面的公式表示   maxb,w=margin(b,w)使得, 所有的yi(wTxi+b)>0且margin(b,w)=mini=1,…Ndist(xi,h)maxb,w=margin(b,w)使得, 所有的yi(wTxi+b)>0且margin(b,w)=mini=1,…Ndist(xi,h) 假定距离超平面最近的点为xixi， 令 t=yi(wTx+b)t=yi(wTx+b) 。 将w和b同时除以t就可以得到新的w和b。 有 1=yi(wTx+b)1=yi(wTx+b) 。 注意，因为我们要找到最小的 dist(xi,h)dist(xi,h)，对w和b 的放缩不会影响谁是最近的点这个结果。也不会影响超平面的位置因为 wTx+b=0wTx+b=0和 (wTx/t+b/t)=0(wTx/t+b/t)=0并无分别。 所以，不失一般性，可以认为对于距离最近的点wTxi+b=1wTxi+b=1,其他点距离都比这个大，那么就有 yi(wTxi+b)>=1yi(wTxi+b)>=1  上述条件中，margin(b,w)=mini=1,…Ndist(xi,h)margin(b,w)=mini=1,…Ndist(xi,h)不方便计算，可以用上面的不等式来表示。 另外， margin(b,w)margin(b,w) 表示的是最近的点到平面的距离，因为wTxi+b=1wTxi+b=1，所以 margin(b,w)=1||w||margin(b,w)=1||w|| 这样我们就得到了   maxb,w1||w||，使得yi(wTxi+b)>=1maxb,w1||w||，使得yi(wTxi+b)>=1 我们不喜欢maxmax，喜欢min,所以把求一个倒数。 一个正数取最大值时，其倒数取最小值。   minb,w||w||，使得yi(wTxi+b)>=1minb,w||w||，使得yi(wTxi+b)>=1 这个||w||||w||，可以用wTwwTw 开方 得到。开方不影响大小关系，所以我们不开方，并加上一个系数，就得到了   minb,w12wTw，使得yi(wTxi+b)>=1minb,w12wTw，使得yi(wTxi+b)>=1 这个东西就是一个二次规划问题，我们就可以用二次规划工具求解了。再引入Lagrange函数：      L（w，b，a）=1/2||w||+∑a{1-yi[(w.a)+b]}，式中a=[a1,a2,…,al]为Lagrange乘子。