当我们训练得到了一个模型之后，我们如何评估它？如何决定下一步要执行怎样的操作对我们的模型进行调整？本文将简要介绍机器学习诊断。
文章目录
1. 训练集、验证集、测试集
相信接触过机器学习深度学习的都知道训练集、验证集、测试集这三个名词，本人在初次接触机器学习的时候，一直以为训练集就是用来训练模型的，验证集和测试集是分别用来验证和测试模型的。当时我只是从字面上来理解，后来学习了之后才对它们有较为清晰的认识，才知道为什么要对数据做这样的划分。
1.1 数据划分的意义
如果我们将所有的样本数据用来训练模型，通过最小化损失函数，我们得到了一个在样本数据上表现不错的模型。我们训练模型的目的是为了使模型在真实环境中得到较好的效果，而不仅仅是在我们的样本数据上呈现较好的效果，所以我们需要防止模型出现过拟合的问题，提高模型的泛化能力。但如我们之前提到的，如果模型出现了过拟合的问题，这个时候我们怎么判断模型是否存在过拟合的问题？
如果我们将样本数据的一部分划分出来作为测试集，并使用测试集来判断我们模型的泛化能力，计算模型在测试集上的误差，并最小化该误差。这个想法似乎不错，而且这也确实是一种划分数据的方法，一般采用训练集:测试集 = 8 : 2。但是，如果我们的模型针对测试集数据出现了过拟合的情况，又该怎么办呢？
我们再将训练集数据的一部分划分出来作为验证集，使用训练集训练模型，然后在验证集上评估模型，找到最合适的参数，然后在测试集上测试一次得到误差，这样就解决了先前提到的问题。一般采用训练集 : 验证集 : 测试集 = 6 : 2 : 2，当数据量是万级以上时，也可以将比例调整为98 : 1 : 1。
需要说明的是，在进行数据划分时要随机划分数据，一般打乱数据后再划分。
1.2 模型选择
（1）假设使用训练集得到a个模型；
（2）对这a个模型，在验证集上使用交叉验证计算验证误差；
（3）选择验证误差最小的模型；
（4）对于选出来的模型，在测试集上计算推广误差。
1.3 交叉验证 Cross Validation
交叉验证就是以某种方式把原始数据分为训练集和验证集，使用训练集训练模型，使用验证集测试训练得到的模型性能。
常用的交叉验证方法
（1）K-fold交叉验证
将样本数据分为K组，每次保留一组作为验证集，剩余K-1组作为训练集训练模型，交叉验证重复K次，即每一组都会作为验证集验证一次，最后对所有的评估结果取平均作为最终评分。一般K取5或10。
（2）留一验证LOOCV
每次只保留原始数据中的一项数据进行验证，剩余的作为训练集，重复执行直到样本数据中的每一项数据都被当做验证。
更多关于交叉验证的内容可参考：链接
2. 偏差和方差
在之前介绍正则化的时候，我们提到了模型欠拟合时存在高偏差，过拟合时存在高方差。从一张图直观的理解一下高偏差和高方差：
注：图片来自网络，侵删。
把我们的模型比作射击运动员的话，就像上图的射击结果：
（1）如果射击结果的偏差较大，即射击位置偏离靶心过远，就说这个运动员的命中率很低。
（2）如果射击结果方差较大，即射击的位置很分散不集中，就说这个运动员的射击水平很不稳定。
对应到我们的模型上，当模型存在高偏差问题时，模型的预测准确率会很低；当模型存在高方差问题时，模型会很不稳定。
我们在估计模型误差时，会认为：误差 = 偏差 + 方差，所以我们希望模型的偏差和误差都尽可能的小，这样我们的模型误差就会越小。接下来我们就看看偏差和方差是如何影响模型的。
假设在训练集和验证集上的误差分别为
J
t
r
a
i
n
(
θ
)
J_{train}(\theta)
Jtrain(θ)和
J
c
v
(
θ
)
J_{cv}(\theta)
Jcv(θ)，计算公式为：
J
t
r
a
i
n
(
θ
)
=
1
2
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
J_{train}(\theta) = \frac{1}{2m}\sum_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})^2
Jtrain(θ)=2m1i=1∑m(hθ(x(i))−y(i))2
m
m
m是训练集中的样本数据数量，
x
(
i
)
x^{(i)}
x(i)和
y
(
i
)
y^{(i)}
y(i)是训练集中的样本数据和输出标记。
J
c
v
(
θ
)
=
1
2
m
c
v
∑
i
=
1
m
c
v
(
h
θ
(
x
c
v
(
i
)
)
−
y
c
v
(
i
)
)
2
J_{cv}(\theta) = \frac{1}{2m_{cv}}\sum_{i=1}^{m_{cv}}(h_{\theta}(x_{cv}^{(i)})-y_{cv}^{(i)})^2
Jcv(θ)=2mcv1i=1∑mcv(hθ(xcv(i))−ycv(i))2
m
c
v
m_{cv}
mcv是验证集中的样本数据数量，
x
c
v
(
i
)
x_{cv}^{(i)}
xcv(i)和
y
c
v
(
i
)
y_{cv}^{(i)}
ycv(i)是验证集中的样本数据和输出标记。
2.1 诊断偏差和方差
首先来看训练集和验证集的损失函数误差图：
横轴：degree——高次方项的次数
纵轴：损失函数误差
（注：图片来自吴恩达老师的PPT）
我们会看到：
（1）训练集：degree较小时，模型拟合程度低（欠拟合），误差较大；degree逐渐增大，拟合程度逐渐提高，误差减小。
（2）验证集：degree较小时，模型拟合程度低（欠拟合），误差较大；随着degree的增大，误差先减小后增大，转折点就是模型开始过拟合训练数据集的时候。
2.2 正则化和偏差方差
如果为损失函数添加了正则项，那么模型的损失函数就是：
J
(
θ
)
=
1
2
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
+
λ
2
m
∑
j
=
1
n
θ
j
2
J(\theta) = \frac{1}{2m}\sum_{i=1}^m(h_{\theta}(x^{(i)}) - y^{(i)})^2 + \frac{\lambda}{2m}\sum_{j=1}^n\theta_j^2
J(θ)=2m1i=1∑m(hθ(x(i))−y(i))2+2mλj=1∑nθj2
选择不同的 λ \lambda λ值对方差和偏差有影响。
来看一下训练集和验证集的损失函数误差图：
横轴：
λ
\lambda
λ的大小
纵轴：损失函数误差
我们可以看到：
（1）训练集：
λ
\lambda
λ较小时，训练集误差较小（过拟合）；
λ
\lambda
λ逐渐增大，训练集的误差不断增大（欠拟合）。
（2）验证集：
λ
\lambda
λ较小时，验证集的误差较大（过拟合）；
λ
\lambda
λ逐渐增大，验证集的误差先减小后增大，转折点就是最合适的
λ
\lambda
λ的值的位置。
3. 学习曲线
3.1 什么是学习曲线
学习曲线是学习算法的一个很好的合理检验；它是将训练集误差和验证集误差作为训练集样本数据量m的函数，绘制而成的图表。
3.2 学习曲线能告诉我们什么
我们可以通过学习曲线来判断算法是否处于偏差、方差问题。假设
m
m
m为样本数据量。
1.欠拟合（高偏差问题）
当模型存在高偏差问题时，随着
m
m
m越来越大，训练集误差和验证集误差都没有较大的改变。
2.过拟合（高方差问题）
假设使用一个高次多项式模型，而且正则化程度较低。若模型存在高方差问题，随着
m
m
m的增大，验证集误差与训练集误差之间的差距逐渐缩小。即当验证集误差远大于训练集误差时，增大训练集的样本数量可以提高模型效果。
3.3 下一步怎么做
根据学习曲线我们就能知道下一步要做什么了。我们可以知道我们的模型此时是存在欠拟合（高偏差问题）还是过拟合（高方差问题），从而采取相应的措施：
1.解决欠拟合（高偏差）问题
（1）获得更多的特征
（2）增加多项式特征（degree）
（3）减小正则化程度
2.解决过拟合（高方差）问题
（1）获取更多的训练样本数据
（2）减少特征数量
（3）增大正则化的程度
4. 误差分析
4.1 类偏斜的误差度量
类偏斜：训练集中有非常多的同一类的样本实例，只有很少或者没有其他种类的样本实例。
比如：在预测肿瘤是良性的还是恶性的，我们的训练集中有99.5%的样本数据是良性肿瘤的数据，剩余0.5%的样本数据时恶性肿瘤的数据。此时就说我们的样本数据存在类偏斜情况。
若此时我们在所有情况下都预测肿瘤是良性的，那就只有0.5%的误差；若我们设计算法训练得到的模型有1%的误差，那么此时的误差大小是不能作为评价算法效果的依据的。
对于这种情况，我们引入查准率和查全率指标。
4.2 查准率和查全率
4.2.1 混淆矩阵
对于二分类问题，我们用0代表negative（假），用1代表positive（真），那么真实值和预测值之间就会有这样的关系：
- True Positive: 预测为真，实际为真
- True Negative：预测为假，实际为假
- False Positive：预测为真，实际为假
- False Negative：预测为假，实际为真
将这四种关系对应画出来，我们就能得到：
这个就是混淆矩阵，它展现了真实值和预测值之间的四种关系。
4.2.2 查准率和查全率
查准率（
p
r
e
c
i
s
i
o
n
precision
precision）和查全率（
r
e
c
a
l
l
recall
recall）有的地方将它们称作“精准率”和“召回率”。通常使用这两个指标来衡量二分类的模型效果。它们对应的计算公式为：
p
r
e
c
i
s
i
o
n
=
T
P
T
P
+
F
P
precision = \frac{TP}{TP+FP}
precision=TP+FPTP
r
e
c
a
l
l
=
T
P
T
P
+
F
N
recall = \frac{TP}{TP+FN}
recall=TP+FNTP
借用西瓜书中的话来理解查准率和查全率：
如果把算法的预测过程比作挑西瓜
（1）查准率：算法挑出来的西瓜中，有多少比例是好西瓜；
（2）查全率：所有的好西瓜中，有多少比例被算法挑了出来。
4.2.3 查准率和查全率之间的权衡
我们在预测时当然希望算法的查准率和查全率能够保持相对的平衡，这样有利于我们更好更方便的取评估模型。然而事实会如我们所愿吗？
例子：不同阈值对查准率和查全率的影响
我们思考之前预测肿瘤的例子：
（1）当
h
θ
(
x
)
>
=
0.5
h_{\theta}(x) >= 0.5
hθ(x)>=0.5时，预测为1；
（2）当
h
θ
(
x
)
<
0.5
h_{\theta}(x) < 0.5
hθ(x)<0.5时，预测为0。
这里的0.5就是阈值。倘若我们采用不同的阈值，对查准率和查全率有什么影响呢？
假设图中的蓝色点表示良性肿瘤，红色点表示恶性肿瘤。
当采用0.5为阈值时，我们计算precision和recall：
（1）
p
r
e
c
i
s
i
o
n
=
5
1
+
5
=
5
6
precision = \frac{5}{1+5} = \frac{5}{6}
precision=1+55=65
（2）
r
e
c
a
l
l
=
5
0
+
5
=
1
recall= \frac{5}{0+5}=1
recall=0+55=1
若采用0.7作为阈值，我们计算precision和recall：
（1）
p
r
e
c
i
s
i
o
n
=
4
0
+
4
=
1
precision = \frac{4}{0+4} =1
precision=0+44=1
（2）
r
e
c
a
l
l
=
4
1
+
4
=
4
5
recall= \frac{4}{1+4}=\frac{4}{5}
recall=1+44=54
若采用0.4作为阈值，我们计算precision和recall：
（1）
p
r
e
c
i
s
i
o
n
=
5
2
+
5
=
5
7
precision = \frac{5}{2+5} =\frac{5}{7}
precision=2+55=75
（2）
r
e
c
a
l
l
=
5
0
+
5
=
1
recall= \frac{5}{0+5}=1
recall=0+55=1
由此可见不同的阈值对于查准率和查全率是有影响的：
| 模型 | Precision | Recall |
|---|---|---|
| 阈值为0.5的 m o d e l 1 model_1 model1 | 5 6 \frac{5}{6} 65 | 1 |
| 阈值为0.7的 m o d e l 2 model_2 model2 | 1 | 4 5 \frac{4}{5} 54 |
| 阈值为0.4的 m o d e l 2 model_2 model2 | 5 7 \frac{5}{7} 75 | 1 |
那么此时问题来了：我们怎么根据precision和recall来评估我们这三个模型的效果？这两个指标发生冲突时，我们很难在模型之间进行比较。在这里介绍
F
1
S
c
o
r
e
F_1 Score
F1Score:
F
1
S
c
o
r
e
=
2
P
R
P
+
R
F_1 Score = 2 \frac{PR}{P+R}
F1Score=2P+RPR
其中P代表查准率，R代表查全率。其取值范围为0~1.
其实
F
1
S
c
o
r
e
F_1 Score
F1Score是
p
r
e
c
i
s
i
o
n
precision
precision和
r
e
c
a
l
l
recall
recall的调和平均值，它兼顾了二者：
1
F
1
=
1
2
(
1
p
r
e
c
i
s
i
o
n
+
1
r
e
c
a
l
l
)
\frac{1}{F_1} = \frac{1}{2}(\frac{1}{precision}+\frac{1}{recall})
F11=21(precision1+recall1)
这样我们就能根据模型的
F
1
S
c
o
r
e
F_1 Score
F1Score在模型之间进行比较评估。对应到本例中，我们就可以通过计算
m
o
d
e
l
1
model_1
model1
m
o
d
e
l
2
model_2
model2
m
o
d
e
l
3
model_3
model3的
F
1
S
c
o
r
e
F_1 Score
F1Score的值来对这三个模型进行评估，选出最合适的那一个。
5. ROC曲线
5.1 什么是ROC曲线
ROC 全称为Receiver Operating Characteristic Curve，受试者工作特征曲线。它是这样的一条曲线：
注：图片来自网络，侵删。
横轴为FPR : False Positive Rate，纵轴为TPR : True Positive Rate。ROC曲线反映了二者之间的关系。
5.2 FPR与TPR
F
P
R
=
F
P
T
N
+
F
P
FPR = \frac{FP}{TN+FP}
FPR=TN+FPFP
T
P
R
=
T
P
T
P
+
F
N
TPR=\frac{TP}{TP+FN}
TPR=TP+FNTP
对FPR和TPR 的理解：
（1）FPR表示：实际值为假时，预测值为真的比例。
（2）TPR表示：实际值为真，预测值为真的比例。
对应到肿瘤预测的例子中，FPR表示患者的肿瘤是良性的但我们却将其预测为恶性，TPR表示患者的肿瘤是恶性的，我们给患者的预测结果也是恶性的。所以我们在预测时，希望FPR的值越小越好，TPR的值越大越好，但我们会发现这两个指标之间是互相影响的。假设我们不管三七二十一均认为患者的肿瘤是恶性的，那么TPR就会很高，但相应的，FPR也会升高。因此我们就会看到如同上图ROC曲线的例子，TPR升高时FPR也升高。
那么问题又来了，我们如何通过模型的ROC曲线来评估它的效果呢？
5.3 AUC
AUC 全称为Area Under Curve，在ROC曲线图中将其定义为ROC曲线下的面积。我们很难直接从ROC曲线图中判断哪个模型的效果好，因此AUC作为一个数值就能清晰的告诉我们模型的效果。关于为什么使用AUC作为评估指标可参考：链接
引用这篇文章中的话，AUC是一个概率值：当随机挑选一个正样本和负样本，算法根据计算得到的score将正样本排在负样本的前面的概率就是AUC的值。
补充：我刚开始对正负样本的概念不清除，所以在此记录一下。
针对分类问题，正样本就是我们希望正确分类出的类别对应的样本，负样本就是其他类别对应的样本。比如分类图片中的狗，那么分类时，狗的图片就是正样本，不是狗的图片就是负样本。
参考：机器学习中的正负样本
通常ROC曲线都位于(0,0) (1, 1)连线的上方，(0,0) (1, 1)连线形成的是随机分类器的ROC曲线，一般来说模型的效果都要好于随机分类器的效果，但也可能会出现相反的结果。
（1）AUC 极限接近1时，我们认为这是个完美分类器；
（2）0.5 < AUC < 1 时，说明模型效果优于随机分类器效果；
（3）AUC = 0.5 说明模型的效果和随机分类器的效果是一样的；
（4）AUC < 0.5 时，模型效果就很差，连随机分类器都不如，这时候可以考虑将预测结果取反。
总之AUC的值越高，说明模型的效果越好。
5.4 ROC曲线的优势
ROC曲线的一个明显优势是：当样本中的正负样本数据的分布出现变化时，ROC曲线几乎没有变化，也就是说ROC曲线很稳定。所以当我们的样本数据出现类偏斜时，或者正负样本数据分布出现较大波动时，ROC曲线能够保持不变。使用网络上的一张图片来做说明：（侵删）
图（a）与图（c）为ROC曲线，图（b）与图（d）为查准率-查全率曲线。（a）（b）展示了在正负样本分布平衡的情况下的ROC曲线和precision-recall曲线；（c）（d）展示了当负样本增加到原来的10倍以后的ROC曲线和precision-recall曲线。由此可见ROC曲线很稳定。
6. 总结
本文主要介绍了当获得了一个模型后，如何对模型效果进行评估。
（1）首先介绍了训练集、验证集、测试集，以及数据划分的意义和交叉验证；
（2）引入偏差和方差的概念，并介绍了偏差和方差对模型的影响，模型什么情况下会出现高偏差问题、什么情况下会出现高方差问题；
（3）之后介绍了学习曲线，介绍了学习曲线能反映什么信息，告诉我们接下来该怎么做；
（4）之后又引入了混淆矩阵、precision、recall，F1 Score等概念，最后又介绍了ROC曲线以及如何使用它来评估模型效果。
文章内容有些杂乱，对一些知识点做了简单的整理，并不是很详细。由于本人也是机器学习的初学者，文章可能存在错误与不足，欢迎大家的指正与补充！
参考内容:
[1] 训练集、验证集和测试集
[2] 机器学习基础（1）- ROC曲线理解
[3] 什么是ROC曲线？为什么要使用ROC?以及 AUC的计算
1201
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
