向量机

支持向量机（SVM）

本人对统计学习方法并没有太过高深的了解，只写一些自己 认为需要理解的方面
支持向量机是一种二分类的模型。
支持向量机分类
线性可分支持向量机、线性支持向量机、非线性可分支持向量机。
就我个人的感受而言，向量机和我一开始学习的感知机的内容很像

线性可分支持向量机与硬间隔最大化

先给定一个特征空间上的训练集T={(x1,y1),(x2,y2),(x3,y3),(x4,y4),…,(xn,yn)}
xi∈X=R^n，yi∈{+1，-1}，yi=-1,xi为负例，yi+1，xi为正例。假定训练数据集可分。
学习的目标：特征空间中找到一个分离的超平面，将实例分到不同的类，分离超平面方程：w·x+b=0,它由法向量w,截距b决定，用(w,b)表示，分类的一侧为正类一侧为负类。（在训练集可分的情况下，超平面可以有很多个）
函数间隔和几何间隔
函数间隔公式（额我找不到图来:( 将就着看看吧）
γ=yi(w·xi+b)（yi，xi都是数据集中的元素）
函数间隔可以表示分类预测的正确性和确信度，但是他会出现一个问题就是当我们成倍放大w和b时，超平面没有发生改变，函数间隔被放大了两倍。这就需要我们需要对w进行一个约束引入它的范式||w||，我们对上述公式除以w的范式，得到相应的几何间隔
间隔最大化
直观解释：
对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类，不仅分开政府实例点，而且对最难分的实例点（距离超平面最近的点），也有足够大的确信度将他们分开。。
持续更新