机器学习算法整理（四）

SVM支持向量机

支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类（binary classification）的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）

数学模型

m i n ( w , b ) { 1 2 w T w } min(w,b) \{\frac{1}{2}w^Tw\} min(w,b){21​wTw}$$s.t.y_i(w^T{x}_i+b)\ge 1$$$$h(x)=sign(w^T+b)$$
带松弛变量的SVM数学模型：
m i n ( w , b ) { 1 2 w T w + C ∑ i ξ i } min(w,b) \{\frac{1}{2}w^Tw+C\sum_i\xi_i\} min(w,b){21​wTw+Ci∑​ξi​}$$s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i>0$$$$h(x)=sign(w^T+b)$$
$C控制的是松弛度，越小越松弛

合页损失函数

上述条件变形：
$${\xi }_i\ge 1-y_i(w^T{x}_i+b)$$
相当于：$${\xi }_i=max(0,1-y_i(w^T{x}_i+b))$$

凸函数，容易优化：对于错误分类惩罚较小；支持向量个数远少于数据集，空间占比小
分段求导

求解方法

1. 二次规划
2. 转换为对偶问题

扩展到多分类

核函数

优缺点

1. 对异常值(outlier)不敏感 处理方法：1. 放松限制条件s.t. 2. 处理线性不可分的情形（case在margin以内）必须放松限制