SVM分类算法
(1)svm定义及特性
定义:在机器学习领域, 支持向量机SVM(Support Vector Machine)是一个有监督的学习模型,通常用来进行模式识别、分类、以及回归分析。
一般特征:
1、SVM学习问题可以表示为凸优化问题,因此可以利用已知的有效算法发现目标函数的全局最小值。而其他分类方法(如基于规则的分类器和人工神经网络)都采用一种基于贪心学习的策略来搜索假设空间,这种方法一般只能获得局部最优解。
2、SVM通过最大化决策边界的边缘来控制模型的能力。尽管如此,用户必须提供其他参数,如使用核函数类型和引入松弛变量等。
3、通过对数据中每个分类属性引入一个哑变量,SVM可以应用于分类数据。
4、SVM一般只能用在二类问题,对于多类问题效果不好。
(2)假设有函数,满足:
并且有:
从出发,希望达到的目标就是让训练数据中y=1的特征,y=0的特征,则该预测对训练集分类很好。
接下来做个变形,将使用的结果标签y=0和y = 1替换为y = -1,y = 1,然后将
(