对于模型评估与选择（评价指标理论）

 一、精度、过拟合、欠拟合的定义

1.精度（Accuracy）：

模型预测正确的样本数占总样本数的比例。

2.过拟合（Overfitting）

定义：模型在训练数据上表现很好，但在测试数据上表现很差，不能很好地泛化到新数据。

特征：模型过于复杂，捕捉了训练数据中的噪声。

简单来说就是过度拟合，当模型的学习能力太好时，模型不但学习了训练集中的普遍规律也学习了训练集中的特殊性，这就导致训练误差非常小甚至为0，但是模型的泛化性能会减小，也就是说模型在测试集或预测数据上的预测效果会减弱，这就是过拟合。

3.欠拟合（Underfitting）

定义：模型在训练数据和测试数据上都表现不好，无法很好地捕捉数据的趋势。

特征：模型过于简单，无法表示数据的复杂性。

简单来说就是拟合效果差，模型未学完训练集中的所有普遍规律，只学习了一部分普遍规律，这也会导致模型的泛化性能差。

二、留出法、交叉验证法、自助划分法划分数据集

1.留出法

留出法就是将数据集D划分成训练集S和测试集T，其中ST=D，ST=。首先在集合S上训练模型然后再在集合T上进行测试，对测试进行评估，分析测试误差。此外，为了不引入额外的偏差对最终结果产生影响，我们在划分数据集时应该保证训练集与测试集数据的一致性。

2.交叉验证法

交叉验证法就是将数据集分为k个子集且划分的子集的数据分布与原数据集一致，然后将k-1个子集的并集作为训练集，将剩下的一个子集作为测试集，如此往复k次。最终将k次循环的平均值作为最终划分结果。

3.自助划分法

自助划分法就是在包含m个数据的数据集D中选取一个数据放入新数据集E中，再将该数据放回D中，如此反复m次，最终得到的数据集E就是训练集。而测试集则是D-E即数据集E在D中的补集。

三、查准率、查全率、F1分数

1.查准率（精确率（Precision））

查准率又可称为精确率，假设有一个三分类问题，数据分A、B、C三类。A类的精确率为正确预测为A类的数量/所有预测为A的数量。B、C类的精确率也是如此推理。

from sklearn.metrics import precision_score
y_true = [3, 0, 2, 1, 0, 0]
y_pred = [1, 0, 1, 1, 0, 1]
# 'macro': 计算每个类别的精度的未加权平均值。不考虑标签不平衡。
# 设置zero_division参数为0，这样在没有预测样本的类别上，精度将被设置为0
Precision=precision_score(y_true, y_pred,average='macro',zero_division=0)
print(Precision)

2.查全率（召回率（Recall））

查全率也可称为召回率，假设有一个三分类问题，数据分A、B、C三类。A类的查全率为正确预测为A类的数量/样本中所有A类的数量。B、C类的查全率也是如此推理。

from sklearn.metrics import recall_score
y_true = [3, 0, 2, 1, 0, 0]
y_pred = [1, 0, 1, 1, 0, 1]
recall=recall_score(y_true, y_pred,average='macro')
print(recall)

3.F1分数

F1分数就是查准率和查全率的调和平均

from sklearn.metrics import f1_score
y_true = [3, 0, 2, 1, 0, 0]
y_pred = [1, 0, 1, 1, 0, 1]
f1_score=f1_score(y_true, y_pred,average='macro')
print(f1_score)

四、ROC曲线和AUC的使用方法

ROC曲线它以假正例率为横坐标，真正例率为纵坐标，描述了在不同的分类阈值下，模型对正例样本的识别能力与对负例样本的误判能力之间的关系。AUC即ROC曲线下的面积，是评估分类模型性能好坏的一个重要指标。AUC的取值范围在0到1之间，值越大表示模型性能越好。

五、代价曲线的概念及应用

代价曲线是指把两个或多个变量的各种组合方式及其代价以曲线的形式描绘出来，以便于直观判断和比较各个组合方式的优劣。在处理不同类别错误分类代价差异较大的问题时，代价曲线可以帮助选择一个适当的分类阈值，使得在考虑不同类别错误分类代价的情况下，总代价最小化。代价曲线还可以用于比较不同模型在代价敏感情况下的性能，从而选择最适合问题的模型。