统计学习方法笔记（七）

统计学习方法笔记（七）：支持向量机

定义

• 处理二分类问题
  

学习目标

• 学习目标是在特征空间中找到一个分离超平面，能将实例分到两个不同的类（正类和负类）。分离超平面对应于方程Wx+b=0，它由法向量W和截距b决定。法向量指向的一侧为正类，另一侧为负类
  

• 线性可分支持向量机
  

函数间隔和几何间隔

• 函数间隔
  

• 几何间隔

• 支持向量机（SVM）的基本想法就是选取能正确划分的超平面中，让几何间隔最大的唯一一个超平面，间隔最大化又称为硬间隔最大化

• 最大间隔分离超平面
  

• 支持向量和间隔边界
  

线性支持向量机和软间隔最大化

• 软间隔引入可解决实际线性不可分的数据中的二分类问题
  

非线性支持向量机与核函数

• 对于不能用直线划分的分类问题，就不能够用线性支持向量机来解决这一类问题，就要引入核函数。

• 问题举例
  

• 核函数应用的方法：
  

• 核函数定义
  

总结