图解-机器学习算法-支持向量机(01)

目录

01 支持向量机思想

02 支持向量机背后的最优化问题

2.1 点到直线距离

2.2 限定条件的最优化问题

2.3 目标函数

03 𝑺𝒐𝒇𝒕 𝑴𝒂𝒓𝒈𝒊𝒏 𝑺𝑽𝑴

3.1 𝑆𝑜𝑓𝑡 𝑀𝑎𝑟𝑔𝑖𝑛 𝑆𝑉𝑀 概念

3.1 𝑆𝑜𝑓𝑡 𝑀𝑎𝑟𝑔𝑖𝑛 𝑆𝑉𝑀 推导

04 𝒔𝒌𝒍𝒆𝒂𝒓𝒏 中的支持向量机

4.1 案例分析

05 非线性 𝑺𝑽𝑴 分类

5.2 案例分析

06 多项式核函数

6.1 学习的对偶算法

6.2 核函数

6.3 多项式核函数

6.4 通过核函数方式使 SVM 处理非线性问题

07 高斯核函数

7.1 高斯核函数

7.2 多项式核函数“升维”原理

7.3 高斯核函数“升维”原理

7.4 模拟高斯核函数“升维”原理

7,5 超参数 𝛾

08 𝒔𝒌𝒍𝒆𝒂𝒓𝒏 中的支持向量机（高斯核函数）

8.1 案例分析 8.2 参数调整

09 𝑺𝑽𝑴 思想解决回归问题

9.1 回归事项

9.2 案例分析

9.3 参数调整

01 支持向量机思想

        支持向量机（𝑆𝑢𝑝𝑝𝑜𝑟𝑡 𝑉𝑒𝑐𝑡𝑜𝑟 𝑀𝑎𝑐h𝑐𝑖𝑛𝑒 ， 𝑆𝑉𝑀 ）是一个功能强大的机器学习模型，它能够执行线性或非线性分类、回归，甚至是异常值检测任务。那么支持向量机是什么呢？下面我们举一个例子。

        如下图所示，在一个二分类的线性模型中，我们可以找出一个决策边界将两类数据区分开来。

        

        但有时候会遇到数据的决策边界并不唯一的情况，这种情况我们成为“不适定”问题，想一想逻辑回归是如何解决这些问题的，它是通过设定一个概率函数𝑠𝑖𝑔𝑚𝑜𝑖𝑑 进行建模，形成一个损失函数，我们使这个损失函数的值最小，从而求出一条决策边界。这里面的损失函数完全由我们的训练数据集决定的。

        

        而支持向量机的解决方式稍微有些不同，假设我们得到一个决策边界线，这条直线很好的将数据进行分类。但是我们知道，由于模型的泛化能力的不同，对于训练数据能够很好的区分，但对于测试数据，模型可能未必能够很好的进行区分。

        假设我们有一个未知样本点（蓝色），根据图中的决策边界，它被划分为橙色。但从图中可以看出，这个点被划分为绿色实际上是更加合理的。这就是说明模型的决策边界泛化能力不够好。

        

        那为什么会产生这种问题呢？这是因为决策边界距离绿色点太近了，从而导致在其周围的数据样本点可能也是绿色。那什么样的决策边界泛化能力较好呢？

        如下图所示：

                

        可以看出，要使决策边界泛化能力最好，就要使得决策边界周围数据点距离这个直线距

离之后最大。也就是说，我们目的 不仅要找出一个决策边界，也要使得后期模型的泛化能 力也要强，即这个决策边界要尽可能的离样本点要远 。

        能够想象到，距离这个决策边界两边的样本点，实际上就圈定了一定区域，过橙色、绿色两边距离决策边界最近的样本点画两条直线，并且平行于决策边界，那么就确定了这个区域，且在这个区域内不能有其他数据点。

        

        而支持向量就是在该区域内寻找一个最优的决策边界，该决策边界距离两个类别最近的样本最远。这个区域边界上的点称为支撑向量，换句话说，是支撑向量定义出了这个区域， 那么最优的决策边界也是由支撑向量决定的，这也是支撑向量机这个名称的由来。

        

        两侧距离决策边界最近的点的距离是相同的，即橙色点与绿色点到决策边界的距离都是𝑑，而支撑向量的距离为两个 𝑑 ，名称叫做 𝑚𝑎𝑟𝑔𝑖𝑛 ，现在的目的就是使得 𝑚𝑎𝑟𝑔𝑖𝑛 最大化。

        

        如上图所示，由支撑向量确定的区域之间的距离称为𝑚𝑎𝑟𝑔𝑖𝑛 。那么支持向量机要做的 事情就是最大化 𝑀𝑎𝑟𝑔𝑖𝑛 ，既将问题转化为了求最优解的问题。

        以上对支持向量机的解释是基于线性可分问题的基础上，也就是能确确实实找到一条直线作为决策边界，这种问题称为𝐻𝑎𝑟𝑑 𝑀𝑎𝑟𝑔𝑖𝑛 𝑆𝑉𝑀 ，但是很多真实的情况是线性不可分的，这类问题称为𝑆𝑜𝑓𝑡 𝑀𝑎𝑟𝑔𝑖𝑛 𝑆𝑉𝑀 ，这两类问题都是支撑向量机可以处理的，但基础还是 𝐻𝑎𝑟𝑑 𝑀𝑎𝑟𝑔𝑖𝑛 𝑆𝑉𝑀。