数据挖掘笔记（五）

以下笔记来自于学堂在线上清华大学的视频网课《80240372X 数据挖掘：理论与算法》，本笔记仅用于个人学习。如有错误，感谢指正。

一、简介

特点：

• 有监督学习，为二分类模型
• 分割原则：间隔最大化
• 训练样本 线性可分 / 近似线性可分 / 线性不可分：线性可分支持向量机 / 线性支持向量机 / 非线性支持向量机

二、最大间隔

• 对margin的理解：仍能满足分割的超平面区间（支持能够分割的向量）。
• 对最大间隔的理解：最大最宽的margin（有的“斜度”的margin将很窄），由于我们的目标是：使离分割线最近的样本点能够到超平面的距离尽量远。 所以我们的训练/优化目标：在分类分对的前提下，使margin最大化。
• 最大化margin：max M=2/(||w||)=>min 1/2·w‘w，问题呗转化为求最小化问题，计算方法利用拉格朗日常数法，略。
• 对**软间隔(soft margin)**的理解：对于无法完全分类正确的情况（不存在这样的超平面的情况），所以在原来的基础上加上一个大于等于零的值，来放宽约束条件，即对目标函数加一个惩罚量（？）。

三、非线性可分的支持向量机

• 从原始空间映射到另一个空间（Feature Space）：映射方式不唯一，可能是映射至更高维，也可能是在当前空间内转变。
• 映射机制的设计：根据机制将映射到很高维，利用**核函数(Kernel Trick)**计算。