机器学习---支持向量机

目录

一、概念

二、核函数介绍

三、步骤

四、分类和回归选择

五、总结

---

一、概念

支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，SVM可以用于线性和非线性分类问题，回归以及异常值检测
其基本原理是通过在特征空间中找到一个超平面，将不同类别的样本分开，并且使得离超平面最近的样本点到超平面的距离最大化。

以一个二维平面为例，判定边界是一个超平面（在本图中其实是一条线，但是可以将它想象为一个平面乃至更高维形式在二维平面的映射），它是由支持向量所确定的（支持向量是离判定边界最近的样本点，它们决定了判定边界的位置）。
间隔的正中就是判定边界，间隔距离体现了两类数据的差异大小

若严格地规定所有的样本点都不在“缓冲区”，都正确的在两边，称为硬间隔分类； 但是在一般情况下，不易实现，这里有两个问题：
第一，它只对线性可分的数据起作用。第二，有异常值的干扰。

为了避免这些问题，可使用软间隔分类：
在保持“缓冲区”尽可能大和避免间隔违规之间找到一个良好的平衡，在sklearn中的SVM类，可以使用超参数 C(惩罚系数），控制了模型的复杂度和容错能力。较小的C值会导致容错能力较高（即更宽的缓冲区），可能会产生更多的错误分类（即间隔违规）；较大的C值会导致容错能力较低，可能会产生更少的错误分类。

二、核函数介绍

核函数是特征转换函数，它可以将数据映射到高维特征空间中，从而更好地处理非线性关系。
核函数的作用是通过计算两个样本之间的相似度（内积）来替代显式地进行特征映射，从而避免了高维空间的计算开销。

在SVM中，核函数的选择非常重要，它决定了模型能够学习的函数空间。常见的核函数包括：

线性核函数（Linear Kernel）：最简单的核函数，它在原始特征空间中直接计算内积，适用于线性可分的情况。K(X,y) = (X^T) * y

多项式核函数（Polynomial Kernel）：通过多项式函数将数据映射到高维空间，可以处理一定程度的非线性关系。(可拟合出复杂的分割超平面，但可选参数太多，阶数高后计算困难，不稳定） K(X,y) = ( (X^T) * y + c ) ^ d , 其中 c 为常数，d 为多项式的阶数。

高斯核函数（Gaussian Kernel）：也称为径向基函数（Radial Basis Function，RBF），通过高斯分布将数据映射到无穷维的特征空间，可以处理更复杂的非线性关系。形式为 K(x,y) = exp( -|| x-y || ^2 / (2 σ ^2) ) 。
|| x - y || 表示向量 x 和 y 之间的欧氏距离，即它们各个维度差值的平方和的平方根。
σ 是高斯核函数的参数，控制了样本之间相似度的衰减速度。σ 越小，样本之间的相似度下降得越快；σ 越大，样本之间的相似度下降得越慢。

sigmoid核函数（Sigmoid Kernel）：通过sigmoid函数将数据映射到高维空间，适用于二分类问题。 σ(x) = 1 / (1 + exp(-x))
 

三、步骤

1. 数据预处理：将数据集划分为训练集和测试集，并进行特征缩放（对数据进行标准化）。

2. 构建模型：选择合适的核函数和惩罚系数，构建SVM模型。

3. 训练模型：使用训练集对模型进行训练，通过最大化间隔来找到最优的超平面。

4. 预测：使用训练好的模型对测试集进行预测。

四、分类和回归选择

通常情况下，当标签值是离散型变量时，我们将问题视为分类问题，而当标签值是连续性变量时，我们将问题视为回归问题。

在支持向量机（SVM）算法中，SVC用于分类，SVR用来做回归

在分类问题中，我们的目标是将输入数据分为不同的离散类别。常见的分类算法包括逻辑回归、决策树、随机森林和支持向量机等。

在回归问题中，我们的目标是预测连续性变量的值。回归问题涉及到对输入数据进行建模，以预测一个或多个连续的输出变量。常见的回归算法包括线性回归、决策树回归、支持向量回归和神经网络等。

五、总结

1. 原理：支持向量机通过构造一个超平面，在特征空间中形成一个判决边界，将不同类别的样本分开。超平面的选择是使得与超平面最近的样本点到该超平面的距离（即间隔）最大化。

2. 分类与回归：支持向量机既可以用于分类问题，也可以用于回归问题。对于分类问题，支持向量机通过将样本划分到不同的类别，从而实现分类；对于回归问题，支持向量机通过拟合一个函数来预测连续的输出。

3. 核函数：支持向量机可以通过核函数将低维特征映射到高维特征空间，从而处理非线性问题。常用的核函数包括线性核、多项式核、高斯核等。