支持向量机算法_机器学习算法五：支持向量机Support Vector Machine

1、基本概念

Support Vector Machine，简称SVM，中文名支持向量机，是一种二分类模型。其原理是通过特征空间中的最大间隔去找出该空间的分类超平面；其中最大间隔就可以用支持向量来求得。

涉及概念：

• 线性可分：
  和
  是
  维欧氏空间中的两个点集（点的集合）。如果存在
  维向量
  和实数
  ，使得所有属于
  的点
  都有
  ，而对于所有属于
  的点
  则有
  。则我们称
  和
  线性可分。
• 硬间隔：hard margin，要求所有样本都必须划分正确，完全线性可分。
• 软间隔：soft margin，近似线性可分，允许某些样本划分错误，当然，在最大化间隔的同时，划分错误的样本应尽可能少。
• 核技巧，样本在当前维度线性不可分，但映射到高维空间后线性可分或近似线性可分。
• 函数间隔：
  ，刻画样本点到超平面的相对距离。如果
  ，则认为