支持向量机

机器学习支持向量机笔记摘要：

支持向量机是基于线性判别式几何意义的分类算法

间隔（margin）是支持向量机的核心概念之一，它是对支持向量到分离超平面的距离度量，可以进一步表示分类的正确性和可信程度。根据归一化与否的区别，间隔还可以分成几何间隔（geometric margin）和函数间隔（functional margin）。

支持向量机通过间隔最大化来定义最优的决策边界

当数据线性可分时，分离超平面有千千万，但几何间隔最大的只有一个。支持向量机的基本思想就是找出能够正确划分数据集并且具有最大几何间隔的分离超平面（maximum-margin hyperplane）。
可是，支持向量机可将线性可分的数据分开，但应用在线性不可分的数据上时，支持向量机也会像单层感知器一样崩溃，！但支持向量机明白不能不撞南墙不回头，既然将全部数据点正确分类是不可能完成的任务，那就不如退而求其次，以放过几个漏网之鱼为代价来保证大多数数据的正常分类。
这些漏网之鱼就是通常所说的异常点，它们将线性可分条件下的硬间隔（hard margin）变成了线性不可分条件下的软间隔（soft margin），这就让支持向量机的优化对象从原始的间隔距离变成了间隔距离和分类错误率的折中。
在计算软间隔时，支持向量机利用合页损失函数（hinge loss）来表示分类错误率。合页损失的引入可以看成是对线性可分支持向量机的正则化处理，在优化问题中它们会以松弛变量（slack variable）的形式出现。合页损失可以看成是对计数表示的分类错误率的近似。从它的图像可以看出，作为一个连续函数，合页损失只计算了错误分类结果的相关指标，分类正确的数据对它是没有贡献的。

因此在软间隔的优化中，也只需要考虑几个异常点对决策边界的影响。这恰恰体现出了支持向量机的思想方法：最终的决策边界仅与少数的支持向量有关，并不会受到大量普通数据的影响。

支持向量机通过对偶问题来求解最优的决策边界

支持向量机的目标是让结构风险最小化。