svm小总结

svm参考网址：https://blog.csdn.net/DP323/article/details/80535863

以下是个人总结：

 

1.拉格朗日方法求||w||

2.几何间隔：当用归一化的w和b代替原值之后的间隔有一个专门的名称，叫做几何间隔，几何间隔所表示的正是点到超平面的欧氏距离，例如：H是分类面，而H1和H2是平行于H，且过离H最近的两类样本的直线，H1与H，H2与H之间的距离就是几何间隔。几何间隔越大的解，它的误差上界越小。因此最大化几何间隔成了我们训练阶段的目标。优化使||w||最小

3.核函数：核函数的基本作用就是接受两个低维空间里的向量，能够计算出经过某个变换后在高维空间里的向量内积值

4.松弛变量，惩罚因子：个人俗称“容忍度”，容忍样本中标记出错的样本而相处的办法，惩罚因子：对每个样本有多容忍出错

5.将SVM用于多类：1）1对多

                                 2）1对1

                                 3）有向无环图的一对一，这种方法最好叫做DAG

6.SVM的计算复杂度：一个具体的算法，Bunch-Kaufman训练算法，典型的时间复杂度在O(Nsv3+LNsv2+dLNsv)和O(dL2)之间，其中Nsv是支持向量的个数，L是训练集样本的个数，d是每个样本的维数（原始的维数，没有经过向高维空间映射之前的维数）。复杂度会有变化，是因为它不光跟输入问题的规模有关（不光和样本的数量，维数有关），也和问题最终的解有关（即支持向量有关），如果支持向量比较少，过程会快很多，如果支持向量很多，接近于样本的数量，就会产生O(dL2)这个十分糟糕的结果（给10，000个样本，每个样本1000维，基本就不用算了，算不出来，呵呵，而这种输入规模对文本分类来说太正常了）。