- 在随机梯度下降(sgd)算法中,优化目标是误分类点的距离之和。这样的超平面不唯一,而svm正是引入约束使得分割超平面唯一。
- svm可用于分类与回归
- 支持向量:由数据集中那些“关键的/重要的"那么”少许点“决定的。支持向量的变动会改变决策面,而间隔之外的点的变动(移动,甚至移除)不会影响决策面。故在svm的拉格朗日优化函数中,拉格朗日乘子大部分都为0,因为支持向量不多。支持向量的由来应该就是这个意思。(发明算法的人都是big cattle)
- svc支持向量分类:如果数据集本身是线性可分的,那么svc通过硬间隔最大分类。此处的硬代表的是优化约束:y(wx+b)>=1,注意是1,常数,不可变,故称之为硬间隔,对异常点(outlier)敏感。
- 线性svc:软间隔最大分类;软:对应于约束y(wx+b)>=1-kesi,引入了松弛变量kesi,对outlier的容错性较好(可用smo算法来求解该凸二次优化问题-)。几何间隔可变(容错性能),故称之为软。这样的线性svc的目标函数还有一种说法就是优化:(hinge loss + L2范数正则项)。
- 数据集非线性时,利用核技巧(kernel trick)将欧氏空间的输入向量映射到希伯尔特特征空间,在特征空间进行svm操作。
- 对于多标签分类问题,有ovr(one-versus-rest)和ovo(one-versus-one)两种形式,区别在于数据集的分配;最后进行投票来决定分类的标签。
- 对于倾斜数据集(unbalanced datasets),一般会赋予类别权重,换句话说,就是给予惩罚因子C权重,C变大,会使得较少样本的类别将超平面往较多的一类挤压。
-
scikit-learn这个开源机器学习库真心不错。http://scikit-learn.org
以上纯属个人小结,如有雷同,纯属巧合。
---stone8oy