机器学习算法之支持向量机的简易版

前言：支持向量机(Support Vecor Machine,以下简称SVM)虽然诞生只有短短的二十多年，但是自一诞生便由于它良好的分类性能席卷了机器学习领域，并牢牢压制了神经网络领域好多年。如果不考虑集成学习的算法，不考虑特定的训练数据集，在分类算法中的表现SVM说是排第一估计是没有什么异议的。

支持向量机：

1、支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的 间隔最大的线性分类器，间隔最大使它有别于感知机；
2、支持向量机还包括核技巧，这使它成为实质上的非线性分类器，其学习的策略是间隔最大化；
3、支持向量机包含由简至繁的模型，线性可分支持向量机、线性支持向量机、非线性支持向量机

大体认识SVM

支持向量机(SVM)，是一种有监督学习算法。可以处理线性以及非线性的情况。

SVM思想一：（最大间隔）

找出一条分割线（超平面），使得两个类别与线（面）的间隙越大越好。-------模型越健壮

衡量方法：

距离的计算

要注意：向量的内积的表示方法**，故向量的内积看成一个实数即可**

SVM思想二：（决策公式）

数据标签定义

数据集：(X1,Y1)(X2,Y2)…(Xn,Yn)

Y为样本的类别：当X为正例时候Y = +1 当X为负例时候Y = -1

决策方程：

SVM思想三：优化的目标

通俗解释：找到一个条线（w和b），使得离该线最近的点（雷区）能够最远

将点到直线的距离化简得

放缩变换：对于决策方程（w,b）可以通过放缩使得其结果值|Y|>= 1，（之前我们认为恒大于0，现在严格了些）

优化目标：

由于：
所以只需要考虑：

SVM思想四：优化理论

当前目标：

求解极大值问题转换成极小值问题=>

约束条件：

拉格朗日乘子法（结论，直接用）

带约束的优化问题：

原始转换：

于是，我们的式子就是：

SVM求解

分别对w和b求偏导,分别得到两个条件（由于对偶性质）
对w、b求偏导：

带入目标函数：

对ɑ求极大值：

条件：

换成求极小值：

条件：

SVM思想五：核变换

低维不可分问题

核变换：既然低维的时候不可分，那我给它映射到高维呢？

目标：找到一种变换的方法，也就是$(x)