问题记录（自用）

最新推荐文章于 2024-09-08 19:49:04 发布

多少有点不专业

最新推荐文章于 2024-09-08 19:49:04 发布

阅读量106

点赞数

文章标签：支持向量机算法机器学习

本文链接：https://blog.csdn.net/weixin_43922861/article/details/132942026

版权

expon 含义

scipy.stats.expon(scale=100)

表示使用 SciPy 库中的 scipy.stats 模块来创建一个指数分布（exponential distribution）的概率分布对象，其中的 scale 参数被设置为 100。

指数分布通常用于模拟泊松过程中事件之间的时间间隔，其中事件以恒定的平均速率发生。scale 参数在这种情况下表示事件之间的平均时间。

支持向量机（Support Vector Machine，SVM）是一种机器学习算法，用于分类和回归任务。SVM具有一些重要的参数，这些参数会影响模型的性能和行为。下面是一些常见的SVM参数及其解释：

7. 缺点：

8. 应用领域： SVM广泛用于文本分类、图像分类、生物信息学、金融预测、医疗诊断等多个领域，特别适用于需要高维数据分析和非线性问题建模的任务。

C (Cost):
- 参数解释：C是SVM的正则化参数，也称为惩罚参数。它控制了在训练过程中分类错误的惩罚程度。较小的C值会导致更大的容忍分类错误，较大的C值会导致更严格的分类。
- 影响：较小的C值会导致决策边界更平滑，更容忍噪声和异常值，但可能会导致欠拟合。较大的C值会导致决策边界更复杂，更容易过拟合。
Kernel Function:
- 参数解释：SVM可以使用不同的核函数，如线性核、多项式核、径向基函数（RBF）核等。核函数用于将数据映射到高维特征空间，以便在该空间中进行线性分类。
- 影响：选择适当的核函数取决于数据的性质。线性核适用于线性可分的数据，而RBF核通常适用于非线性问题。
Kernel Parameters (如gamma、degree等):
- 参数解释：这些参数用于调整核函数的性质。例如，对于RBF核，gamma参数控制了每个样本对决策边界的影响。
- 影响：适当调整这些参数可以改善模型性能，但通常需要进行调优。
Class Weights:
- 参数解释：SVM允许为不同类别设置不同的权重。这对于处理不平衡数据集非常有用，其中一些类别的样本数量远远超过其他类别。
- 影响：设置类别权重可以确保模型更关注少数类别，以提高模型在不平衡数据中的性能。
Kernel Cache Size (cache_size):
- 参数解释：这是用于存储核矩阵缓存的内存大小。较大的值可以提高训练速度，但需要更多的内存。
- 影响：如果内存允许，增加缓存大小可以提高性能。
Tolerance (tol):
- 参数解释：这是用于控制训练停止的收敛容忍度。较小的值会导致更长的训练时间，但可能会提高模型性能。
- 影响：根据问题的性质和训练时间的限制，可以调整容忍度。
Decision Function Shape (decision_function_shape):
- 参数解释：这是用于多类分类的决策函数的形状。"ovo"表示一对一，"ovr"表示一对多。
- 影响：选择决策函数形状取决于多类分类的需求。
支持向量机（Support Vector Machine，SVM）是一种强大的监督学习算法，用于分类和回归任务。它在机器学习领域中被广泛应用，并且在许多领域中都取得了很好的性能。以下是关于SVM的简要介绍：

1. 目标： SVM 主要用于解决二分类和多分类问题。在二分类问题中，SVM试图找到一个决策边界或超平面，将不同类别的样本分隔开。在多分类问题中，它可以通过一对一（one-vs-one）或一对多（one-vs-rest）等策略来处理多个类别。

2. 原理： SVM的核心思想是找到一个最优的超平面，以最大程度地分隔不同类别的数据点。这个超平面被选为离它最近的数据点（支持向量）的间隔最大化的位置。这个间隔被称为“间隔（margin）”，SVM的目标是最大化这个间隔。

3. 支持向量： 支持向量是位于间隔边界上的训练样本点，它们对于确定超平面的位置至关重要。这些点对模型的训练和决策起到关键作用。

4. 核函数： SVM可以使用核函数将数据映射到高维特征空间，从而使数据在该空间中线性可分。常用的核函数包括线性核、多项式核、径向基函数（RBF）核等。

5. 正则化： SVM有一个正则化参数C，用于控制分类错误的惩罚程度。较小的C值会导致更大的容忍分类错误，较大的C值会导致更严格的分类。

6. 优点：
在高维空间中工作效果良好，适用于高维数据。
对于非线性问题，可以通过选择合适的核函数进行处理。
SVM的解是全局最优解，不会陷入局部最小值。
在小样本数据集上表现出色，对于样本量较少的问题有效。
对于大规模数据集，训练时间较长。
对于多类别问题，需要使用一对一或一对多策略，可能需要训练多个二分类模型。
对于高维稀疏数据，性能可能不如其他算法，如随机森林或梯度提升树。