使用交叉验证在 scikit-learn 中选择最佳模型

视频摘要：模型评估和交叉验证

本视频将继续探讨机器学习模型评估方法，并介绍一种更强大的方法：交叉验证。

回顾：

• 上一视频中，我们学习了数据科学流程，包括使用 Pandas 读取数据、使用 Seaborn 进行可视化，以及使用 scikit-learn 训练和解释线性回归模型。我们还涵盖了回归的评估指标以及使用训练测试分割方法进行特征选择。

问题：

• 训练测试分割方法的缺点是什么？
• 交叉验证如何克服这种局限性？
• 交叉验证如何用于选择调整参数、模型选择和特征选择？
• 交叉验证有哪些可能的改进？

核心内容：

• 训练测试分割方法的缺点： 测试精度是样本外精度的高方差估计，这意味着测试精度会根据测试集中包含的特定样本而发生很大变化。
• 交叉验证： 交叉验证是一种更稳健的模型评估方法，它将数据分成多个折叠，每个折叠都被用作测试集，而其他折叠被用作训练集。通过多次训练和测试，交叉验证可以提供对样本外性能的更可靠估计。
• 交叉验证的应用：
• 选择调整参数： 通过交叉验证，我们可以找到模型参数的最优设置，使模型在样本外数据上的性能最佳。
• 模型选择： 我们可以比较不同模型在交叉验证下的性能，选择最适合数据的模型。
• 特征选择： 交叉验证可以帮助我们选择对模型预测最有贡献的特征，提高模型的泛化能力。
• 交叉验证的改进： 可以尝试不同的交叉验证方法，例如留一法交叉验证和分层交叉验证，以进一步提高评估的准确性和可靠性。

视频示例：

• 使用 scikit-learn 和 Iris 数据集演示了训练测试分割方法的缺点。
• 使用 K 折交叉验证方法对模型进行评估，并展示其在选择调整参数和模型选择方面的应用。

总结：

交叉验证是一种比训练测试分割方法更强大的模型评估方法，它可以提供更可靠的样本外性能估计，并帮助我们选择最佳的模型参数、模型和特征。

在这个视频中，我们将学习K折交叉验证，以及如何将其用于选择最佳调优参数、模型选择和特征选择。 我们将比较交叉验证与训练/测试分割过程，并讨论一些交叉验证的变体，这些变体可以更准确地估计模型性能。