模型评估与模型参数选择and监督学习 学习小结

一.模型评估与模型参数选择

1.模型评估的定义

（1）基本概念：模型评估是验证模型性能的关键步骤，它不仅涉及对模型在训练集上的表现进行考察，还包括其在测试集上的表现评估。这一过程确保了模型的泛化能力，即模型在未见过的数据上也能表现良好
（2）常见指标：准确率、精确率、召回率、F1分数、ROC曲线与AUC值等都是常用的模型评估指标。这些指标帮助量化模型的效果，适用于不同类型的机器学习问题，如二分类、多分类和回归等
（3） 评估方法：留出法、交叉验证法和自助法是常见的模型评估方法。留出法将数据集分为训练集和测试集，交叉验证法则通过多次分割数据集来减少评估误差，而自助法通过重采样技术估计模型的性能
（4）实践应用：在实际应用中，模型评估应结合具体任务和数据集特点选择合适的评估指标和方法。例如，在医疗诊断领域，由于误诊和漏诊的代价较高，通常会优先考虑精确率和召回率；而在金融预测领域，由于数据量庞大且复杂，可能会采用ROC曲线和AUC值来评估模型性能
 

2.模型参数选择的定义

（1） 基本概念：模型参数是控制模型行为的变量，包括超参数、权重参数和偏置参数[^1^]。这些参数决定了模型的结构和预测能力
（2）参数类型：超参数是在模型训练前设定的，用于控制模型训练过程的参数，如学习率、批量大小等 权重参数和偏置参数则是在模型训练过程中通过数据学习得到的，它们直接影响模型的预测结果
（3）选择方法：选择合适的模型参数通常基于模型在验证集上的表现，通过调整参数以优化某些性能指标（如准确率、召回率等）常用的技术包括网格搜索、随机搜索和贝叶斯优化等
（4）优化正则化：为了避免过拟合，通常会采用正则化技术，如L1和L2正则化，以及dropout等方法。同时，早停法也是防止模型过拟合的有效策略之一。
（5）实践应用：在实际应用中，模型参数的选择是一个迭代过程，需要不断地调整和验证，以确保模型具有良好的泛化能力。这一过程对于提高模型的准确性和鲁棒性至关重要。

总的来说，模型参数选择是确保机器学习模型有效性的关键步骤。正确的参数选择可以显著提升模型的性能，使其更好地适应新的、未见过的数据

3.模型评估与模型参数选择

若对于给定的 输入 𝑥 ，若某个模型的输出 𝑦 = 𝑓 𝑥 偏离 真实目标值 𝑦 ，那么就 说明模型存在误差

𝑦 偏离 𝑦 的程度可以用关于 𝑦和 𝑦 某个函 数 𝐿 𝑦, 𝑦 来表示，作为误差的度量标 准：这样的函数 𝐿𝑦, 𝑦 称为损失函数

在某种损失函数度量下，训练集上的平 均误差被称为训练误差，测试集上的误 差称为泛化误差。

由于我们训练得到一个模型最终的目的 是为了在未知的数据上得到尽可能准确的结果 ，因此泛化误差是衡量一个模型泛化能力的重要标准

PS:

• 误差 ：预测输出 𝑦与真实输出 𝑦 之间的差异；

• 经验误差、训练误差 ：在 训练集 上的误差；

• 泛化误差 ：在新样本上的误差

• 泛化误差越小越好，经验误差不一定越小越好，可能导致 过拟合

• 过拟合：将训练样本自身的一些特点当作所 有样本潜在的泛化特点  表现：在训练集上表现很好，在测试集上表 现不好。

  过拟合的原因： 训练数据太少（比如只有几百组） 模型的复杂度太高（比如隐藏层层数设置的过多，神经元的数量设置的过大） 数据不纯

4.训练集，验证集与测试集

（1）训练集：在机器学习和深度学习模型开发中扮演着核心角色，它的主要作用是提供足够的数据样本来训练模型，使模型能够学习到数据的特征和模式，从而进行准确的预测或分类

（2）验证集：在机器学习和深度学习中扮演着至关重要的角色，主要用于调整模型的超参数以及评估模型的泛化能力

• 验证集不像训练集和测试集，它是非必需的。如果不需要调整超参数，就可以不使用验证集，

直接用测试集来评估效果。

• 验证集评估出来的效果并非模型的最终效果，主要是用来调整超参数的，模型最终效果以测

试集的评估结果为准

（3）测试集：主要作用是评估模型的泛化能力，即模型在未见过的数据上的表现能力

（4）划分数据集

• 对于小规模样本集（几万量级），常用的划分比例： 训练集：验证集：测试集=6：2：2

• 训练集：测试集==8：2、7：3

• 对于大规模样本集（百万级以上），只要验证集和测试集的数量足够即可   例如有 100w 条数据，那么留 1w 验证集，1w 测试集即可  1000w 的数据，同样留 1w 验证集和 1w 测试集   超参数越少，或者超参数很容易调整，那么可以减少验证集的比例，更多的分配给训练集

二.监督学习

（1）监督学习：监督学习是一种机器学习方法，其中模型从标记的训练数据中学习，目标是找到输入特征与输出标签之间的映射关系  。这种方法需要预先标注好的数据集，即每个训练样本都包含一个明确的标签或答案。在监督学习中，数据需要被清晰地标记为不同的类别或数值，这通常涉及人工标注过程，可能既耗时又昂贵

 

（2）非监督学习：非监督学习处理的是未标记的数据，目的是发现数据中的隐藏模式和结构  。它不需要外部标签，而是让算法自行识别数据中的规律。非监督学习使用完全未标记的数据，这使得它在处理大规模数据集时更加灵活和经济

（3）模型训练

监督学习：模型通过最小化预测输出与实际标签之间的误差来优化。常见的技术包括回归分析和分类任务

非监督学习：模型试图最大化数据内部的相似性或差异性，如聚类分析，其中相似的实例被分组在一起

（4）应用场景

监督学习：适用于各种场景，尤其是当存在足够的标记数据时，例如垃圾邮件检测、语音识别和图像分类等 

非监督学习：常用于市场细分、社交网络分析、客户细分等，这些场景中数据的天然结构比具体的标签更重要