西瓜书（《机器学习》周志华）习题解析-第2章-模型评估与选择

最新推荐文章于 2023-09-20 18:26:02 发布

置顶走肖暂时无法接通

最新推荐文章于 2023-09-20 18:26:02 发布

阅读量8.6k

点赞数 12

分类专栏：西瓜书学习笔记文章标签：机器学习

本文链接：https://blog.csdn.net/JeremyZhao1998/article/details/114588060

版权

西瓜书学习笔记专栏收录该内容

2 篇文章 4 订阅

订阅专栏

西瓜书（《机器学习》周志华）习题解析-第2章-模型评估与选择

2.1 数据集包含1000个样本，其中500个正例、500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算有多少种划分方式。

500个正例和500个反例，根据分层抽样的原则，30%的测试样本共300个，其中必须包含150个正例和150个反例。若不考虑样本其他的分布情况，则选取方式为：从500个正例中随机抽取150个，再从500个反例中随机抽取150个，两个过程相互独立，则共有 $C_{500}^{150})^2$ 种方式。

2.2 数据集包含100个样本，其中正、反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证发和留一法分别对错误率进行评估的结果

10折交叉验证：将样本集划分为10个同分布不相交的子集，将其中9个作为训练集，1个作为测试集，每个划分可得到10次不同的训练和验证。对于题目所述的模型，总是将新样本预测为训练样本较多的类别，但每一次验证时，训练集的正例和反例一样多，将会进行随机猜测。每次都进行随即猜测，其错误率的期望是50%。

留一法：k折交叉验证中k等于样本个数的特例。在题目所述的情况下，即将100个样本每次取出1个样本用于测试，99个用于训练。当1个测试样本为正例时，99个训练样本为50个反例和49个正例，新样本将被预测为出现较多的反例，而测试样本的ground truth是正例，必然会预测错误。当测试样本为反例时同理必然会预测错误，此时错误率的期望为100%。

2.3 若学习器A的F1值比学习器B高，试析A的BEP值是否也比B高。

首先，了解什么是F1，什么是BEP。F1：查准率P和查全率R的调和平均；BEP：Beak-Even Point，P-R曲线上P = R时二者的取值。

F1和BEP有概念上的巨大差异，二者没有必然联系。P-R曲线的定义是：学习器将所有样本按“可能是正例”的概率从前向后排序，然后依次将前若干个样本按正例进行预测，所得出的预测结论。注意此时BEP曲线只是衡量了学习器进行“排序”的性能，并不包含最终预测的结果。也就是说，给定了P-R曲线的情况下，根据不同的预测策略，会产生不同的P和R。而F1是一个确定的概念，是在P和R都确定的情况下计算出的二者的调和平均。因此在同一P-R曲线上，F1在不同的位置有不同的取值。

因此对于题目所述的假设，我们很容易给出反例：对于R-P曲线完全相同的两个学习器，二者的P-R曲线上存在两个不同位置，使得对应的F1值不同。不妨设F1值较大的位置所对应的预测策略为学习器A，另一个为B，此时学习器A的F1值比学习器B高，但二者P-R曲线完全相同，也有相同的BEP值。

2.4 试述真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）之间的联系。

查全率: 真实正例被预测为正例的比例
真正例率: 真实正例被预测为正例的比例
显然查全率与真正例率是相等的。

查准率:预测为正例的实例中真实正例的比例
假正例率: 真实反例被预测为正例的比例
两者并没有直接的数值关系。

2.5 试证明式(2.22)

南瓜书：https://datawhalechina.github.io/pumpkin-book/#/chapter2/chapter2?id=_221的链接证明了书中大部分公式。但同时，根据南瓜书的建议：

对于初学机器学习的小白，西瓜书第1章和第2章的公式强烈不建议深究，简单过一下即可，等你学得有点飘的时候再回来啃都来得及。

同学们可以根据自己的情况选择性啃食该公式。

2.6 试述错误率与ROC曲线的联系

与2.3中所述的情况相似，ROC曲线本质上只反映学习器的“排序能力”，而具体的预测策略则取决于在ROC曲线上的哪一点作截断。当确定了一种预测策略时，才会对应一个确定的错误率。因此可以说，ROC曲线上的每一点，对应了学习器一种情况下的错误率。

（由代价矩阵所确定的错误率，参照西瓜书2.3.4节与公式2.23）

2.7 试证明任意一条ROC曲线都有一条代价曲线与之对应，反之亦然

代价曲线、ROC曲线、P-R曲线都是为了描述某一学习器的“排序能力”而引入的概念。ROC曲线下方的面积仅能在“错误代价均等”的条件下反应学习器的排序质量，而在错误代价并不均等的情况下，引入代价矩阵后，应当使用代价曲线来反应考虑代价的排序质量。但不论使用哪一种曲线，衡量哪一种面积，一旦学习器给定，其排序质量是一定的，则三种曲线都是确定的。从这一角度来看，任意一条ROC曲线都对应了一个确定的学习器，而该学习器有唯一确定的代价曲线，反之亦然。

若要严格证明该结论，西瓜书给出了ROC曲线和代价曲线的转换方法：ROC曲线上没一点对应了代价平面上的一条线段，设ROC曲线上点的坐标为(FPR, TPR)，则可计算相应的FNR，然后再代价平面上绘制一条从(0, FPR)到(1, FNR)的线段，如此求出ROC曲线上所有点对应的线段，其下界围成的曲线即代价曲线。同理，在代价曲线上寻找一个连续的分段，将其线段计算出相应的FPR与FNR，再计算出TPR，即得到ROC曲线上的一个点，连接所有如此的到的点即得ROC曲线。