支持向量和非支持向量

一、支持向量

支持向量是指那些距离超平面最近的且满足一定条件的训练样本点。

在分类问题中，支持向量对于确定分类边界起着关键作用。

对于线性可分的情形，位于间隔边界上的样本点被称为硬间隔的支持向量；而对于线性不可分的情形，位于间隔边界上及间隔边界之内的样本点被称为软间隔的支持向量。

这些支持向量具有一些特定的性质，例如它们一定位于正确划分的分区内，并且不会出现在间隔意外的正确划分分区。

支持向量机（SVM）是一种强大的机器学习算法，主要用于分类和回归分析。在SVM中，目标是找到一个超平面，这个超平面能够将不同类别的数据点最大程度地分隔开。而支持向量就是在这个过程中起到关键作用的数据点。

支持向量具有以下特性：

1. 关键性：支持向量是那些距离决策边界（也称为超平面）最近的数据点。这些点对于确定决策边界的位置至关重要。换句话说，如果移除了这些支持向量，决策边界将会改变。
2. 位于边界上或附近：对于线性可分的情况，支持向量恰好位于间隔边界上。而对于近似线性可分或非线性可分的情况，支持向量可能位于间隔边界上或间隔边界内的某个位置。
3. 对模型的影响：由于支持向量决定了决策边界的位置，因此它们对模型的性能具有重要影响。在训练SVM模型时，我们主要关注的是这些支持向量，而非其他的数据点。

二、非支持向量

非支持向量则是那些在间隔边界两侧被正确分类的样本点。这些样本点虽然被正确分类，但对于SVM的决策面并没有直接的贡献。换句话说，非支持向量在确定分类边界时并不起关键作用。

非支持向量在支持向量机（SVM）中指的是那些对决策边界的确定没有直接贡献的数据点。在SVM的训练过程中，我们的目标是找到一个最优的决策边界（也称为超平面），这个边界能够将不同类别的数据点分隔开，并且使得支持向量到决策边界的距离最大化。

具体来说，非支持向量具有以下特点：

1. 距离决策边界较远：非支持向量通常位于决策边界的两侧，并且距离决策边界相对较远。这意味着它们对于确定决策边界的位置没有直接影响。

2. 正确分类：非支持向量是被正确分类的数据点，即它们位于各自类别的正确区域内。然而，与支持向量不同，非支持向量对于确定分类边界并不起关键作用。

3. 数量众多：在大多数数据集中，非支持向量的数量通常远多于支持向量的数量。这是因为支持向量是那些对决策边界有直接影响的“关键”数据点，而非支持向量则是数据集中的其他“普通”点。

4. 对模型的影响较小：由于非支持向量不直接参与决策边界的确定，因此它们对SVM模型的性能影响较小。在模型训练过程中，我们主要关注的是支持向量，因为它们决定了模型的决策边界。

需要注意的是，尽管非支持向量在决策边界的确定上没有直接作用，但它们仍然对模型的泛化能力有一定的影响。在训练过程中，非支持向量可以帮助调整模型的参数，以优化模型在未见数据上的表现。

总之，非支持向量是那些距离决策边界较远、被正确分类但对决策边界的确定没有直接影响的数据点。在SVM中，我们主要关注的是支持向量，因为它们决定了模型的决策边界和分类性能。