SVM那些事

2019独角兽企业重金招聘Python工程师标准>>>

1. 在随机梯度下降（sgd)算法中,优化目标是误分类点的距离之和。这样的超平面不唯一，而svm正是引入约束使得分割超平面唯一。
   
2. svm可用于分类与回归
3. 支持向量：由数据集中那些“关键的/重要的"那么”少许点“决定的。支持向量的变动会改变决策面，而间隔之外的点的变动（移动，甚至移除）不会影响决策面。故在svm的拉格朗日优化函数中，拉格朗日乘子大部分都为0，因为支持向量不多。支持向量的由来应该就是这个意思。（发明算法的人都是big cattle)
   
4. svc支持向量分类：如果数据集本身是线性可分的，那么svc通过硬间隔最大分类。此处的硬代表的是优化约束：y(wx+b)>=1，注意是1，常数，不可变，故称之为硬间隔，对异常点（outlier）敏感。
5. 线性svc：软间隔最大分类；软：对应于约束y（wx+b)>=1-kesi,引入了松弛变量kesi，对outlier的容错性较好（可用smo算法来求解该凸二次优化问题-）。几何间隔可变（容错性能），故称之为软。这样的线性svc的目标函数还有一种说法就是优化：（hinge loss + L2范数正则项）。
   
6. 数据集非线性时，利用核技巧（kernel trick）将欧氏空间的输入向量映射到希伯尔特特征空间，在特征空间进行svm操作。
7. 对于多标签分类问题，有ovr（one-versus-rest)和ovo(one-versus-one)两种形式，区别在于数据集的分配;最后进行投票来决定分类的标签。
8. 对于倾斜数据集（unbalanced datasets)，一般会赋予类别权重，换句话说，就是给予惩罚因子C权重，C变大，会使得较少样本的类别将超平面往较多的一类挤压。
   

9. scikit-learn这个开源机器学习库真心不错。http://scikit-learn.org

    以上纯属个人小结，如有雷同，纯属巧合。

    ---stone8oy

转载于:https://my.oschina.net/stone8oy/blog/299716