机器学习-支持向量机 -- 硬间隔SVM

 

一、概述

1. 支持向量机(Support vector machine, SVM)解释

2. SVM三宝

         3. SVM的三个重要的算法

二、硬间隔SVM（Linearly separable patterns -- Hard-margin SVM）

        1. 预知识

        2. Hard-margin SVM

        3. 函数间隔 VS 几何间隔

        4. 最大间隔化

        5. 硬间隔SVM的算法描述

        6. 支持向量

        7. 硬间隔SVM例题

        8. 对偶问题

        9. 线性支持向量机的算法（根据对偶问题得到的）

       10. 使用对偶解题例题

---

支持向量机（Support vector machine）

一、概述

  SVM是一种小样本学习方法。

  少数支持向量决定了最终结果，对异常值不敏感, 这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单，而且具有较好的“鲁棒性”

  SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值

  有优秀的泛化能力。

1. 支持向量机(Support vector machine, SVM)解释：

（1）支持向量（support vector）：支持或支撑平面上把两类类别划分开来的超平面的向量点。

（2）“机”（机器，machine）：“机”实质上是一个算法。在机器学习领域，常把一些算法看做是一个机器，如分类机（当然，也叫做分类器），而支持向量机本身便是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。

2. SVM三宝：

（1）间隔（margin）：用于建模

（2）对偶（duality）：用于模型求解

（3）核技巧（kernel trick）：将非线性问题转化为线性问题

3. SVM的三个重要的算法：

    （1）Hard-margin SVM 线性可分的SVM

    （2）Soft-margin SVM  线性不可分的SVM

    （3）Kernel SVM (Nonlinear SVM)  非线性

二、硬间隔SVM（Linearly separable patterns -- Hard-margin SVM）

1. 预知识：

线性模型：在样本空间中寻找一个超平面, 将不同类别的样本分开.

-Q:将训练样本分开的超平面可能有很多, 哪一个好呢?

-A:应选择”正中间”, 容忍性好, 鲁棒性高, 泛化能力最强.

2. Hard-margin SVM

输入空间：欧几里德空间或离散集（Euclidean space or discrete set）

输出空间：欧几里得空间或希尔伯特空间（Euclidean space or Hilbert space）内积空间

假设：输入空间的实例可以映射到特征空间中的特征向量。