Datawhale X 李宏毅苹果书 AI夏令营 Task 3

课程链接 / Kaggle github网站

---

一  术语解释

支持向量机 （Support VectorMachine，SVM）：

        支持向量机（SVM）是一种广泛应用于分类和回归任务的监督学习算法。它的核心思想是在高维空间中找到一个最优超平面，以最大化类别之间的边界（间隔）。SVM的学习策略是间隔最大化，即在训练数据中找到一个超平面，使得不同类别的样本尽可能远离这个超平面，从而提高模型的泛化能力。

        SVM的一个关键特性是核技巧，它允许算法将数据映射到高维空间，即使原始数据在低维空间中是非线性可分的。常用的核函数包括线性核、多项式核、径向基函数（RBF）核和sigmoid核。核函数的选择对SVM的性能有重要影响。

        在实际应用中，SVM不仅适用于二分类问题，还可以通过多种策略扩展到多分类问题。此外，SVM在处理小样本数据集和高维数据时表现出色，但在处理大规模数据集时可能会遇到计算挑战。

        SVM的优点包括其决策函数只依赖于少数支持向量，计算的复杂性取决于支持向量的数目而不是样本空间的维数，以及其非线性分类能力。然而，SVM也存在一些缺点，如对参数调节和核函数的选择敏感，以及在大规模数据集上的计算成本较高。

二 . 笔记整理

（一）综述

        在应用机器学习算法时，实践方法论能够帮助我们更好地训练模型。如果发现训练数据在测试平台上的结果不太好，就要先根据测试结果来检查训练数据的损失。看看模型在训练数据上面，有没有学起来，再去看测试的结果，如果训练数据的损失很大，显然它在训练集上面也没有训练好。接下来再分析一下在训练集上面没有学好的原因。

（二） 具体情况

1.  模型偏差

        模型偏差可能会影响模型训练。如果模型过于简单，把所有的函数集合起来得到一个函数的集合。但是该函数的集合太小了，没有包含任何一个可以让损失变低的函数。在这种情况下，就算找出了其中一个模型较好的的函数 ，损失还是不够低，即仍会产生过多的损失。

        如果模型的灵活性不够大，可以增加更多特征，可以设一个更大的模型，可以用深度学习来增加模型的灵活性，这是第一个可以的解法。但是并不是训练的时候，损失大就代表一定是模型偏差，可能会遇到另外一个问题：优化做得不好。

2. 优化问题

        一般只会用到梯度下降进行优化，但这种优化的方法可能会让结果卡在局部最小值的地方，无法找到一个真的可以让损失很低的参数。