吃瓜笔记6

吃瓜笔记6 支持向量机

所有知识点均来源于周志华西瓜书机器学习

6.1间隔与支持向量

支持向量：距离超平面最近的几个训练样本点
间隔：两个异类支持向量到超平面的距离

找到间隔最大化的超平面

支持向量机的基本型，式6.6，存在不等式约束

6.2对偶问题

求解式6.6 （凸二次规划问题）
即求解其对偶问题式6.11 （二次规划问题）
KKT条件
通用算法规模正比与训练总数
高效算法代表SMO

6.3核函数

如果原始空间是有限维，那么一定存在一个高维特征空间使样本线性可分

只要一个对称函数所对应的核矩阵半正定，它就能做核函数
对于一个半正定核矩阵，总能找到一个与之对应的映射
任何一个核函数都隐式地定义了一个名为“再生核希尔伯特空间“的特征空间

6.4软间隔与正则化

软间隔，允许支持向量机在一些样本上出错。在最大化间隔的同时，不满足约束的样本应尽可能少
“0/1损失函数”的替代函数：hinge损失、指数损失、对率损失
软间隔支持向量机，式6.35
求解方式：求解其对偶问题

6.5支持向量回归

允许偏差，构建一个间隔带，样本落入计为正确
支持向量回归SVR，式6.43
求解其对偶问题式6.51

6.6核方法

优化问题式6.57的最优解总能表示为核函数的线性组合。
核化线性学习器用于非线性学习