【机器学习 西瓜书】第二章模型评估与选择习题解答

2.1 数据集包含1000个样本，其中500个正例、500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。

从正反例中分别选出150个用于留出法评估

2.2 数据集包含100个样本，其中正、反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别(训练样本数相同时进行随机猜测)，试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果。

10折交叉验证：

        将数据集分成10个大小相等的子集，每次选择其中1个子集作为验证集，剩下的9个子集作为训练集。总共重复10次，每次计算错误率，最终取平均值作为整体的错误率评估。

由于正反例数量均等，且模型会预测为训练集数量较多的类别，考虑每次训练集中的正反例比例。对于10折交叉验证，每个子集有10个样本，因此：

                每次训练集中有90个样本。

                每个验证集中有10个样本。

        在训练集中，正反例数量为：

                45个正例、45个反例。训练集中正反例数量相等，因此学习算法会随机猜测验证集中的样本类别。

        对于每个验证集，随机猜测的错误率为0.5（因为正反例各占一半，随机猜测时猜错的概率是50%）。因此，对于每次的验证集，错误率为50%。

留一法：

        如果留下的是一个正例（即验证集中是正例），训练集中会有49个正例和50个反例。由于反例比正例多一个，模型会预测为反例，导致分类错误。

        如果留下的是一个反例，训练集中会有50个正例和49个反例。由于正例比反例多一个，模型会预测为正例，导致分类错误。

        因此，在留一法中，每次迭代都会将样本分类为错误的类别，错误率为100%。因为无论是正例还是反例，模型总是倾向于多数类，而验证集中是少数类。

2.3 若学习器A的F1值比学习器B高，试析A的BEP值是否也比B高。

分析：

        F1值和BEP衡量的方面不同，且并不直接相关。F1值偏向于对正类的精度和召回的平衡，而BEP关注的是正负类的错误率的平衡。

        F1值高：意味着分类器在正类的精度和召回上有良好表现，但这并不意味着负类的表现也同样良好。

        BEP低：则要求正类和负类的错误率都低，意味着分类器对正负类都有平衡的良好表现。

        因此，A的F1值比B高，并不能直接推断A的BEP值一定比B低或高。A可能在正类表现更好，提升了F1值，但如果负类表现较差，BEP可能并不比B更好。

结论：

        A的F1值比B高，不一定意味着A的BEP值比B高，因为这两个指标反映的分类器性能不同的方面。需要结合更多信息来判断。

2.4 试述真正例率(TPR)、假正例率(FPR)与查准率(P)、查全率(R)之间的联系。

        TPR 和 FPR 主要描述的是分类器在处理正类和负类样本时的错误率，而 Precision 和 Recall 则专注于正类的识别能力。下面我们来分析这些指标之间的关系。

TPR（召回率, Recall）与 Precision 的关系：

        TPR（召回率）表示在所有正类样本中，被正确识别为正类的比例。它只关注正类样本的覆盖情况，不考虑分类器的错误正例（FP）。

        Precision 则表示被分类器预测为正类的样本中，真正例的比例。它强调的是预测为正例的样本的准确性，而不是正类样本的覆盖程度。

        TPR 和 Precision 之间通常存在一个权衡关系。当分类器更倾向于识别出更多的正例时（即 TPR 提高），有可能会引入更多的误识别（FP 增加），从而降低 Precision。

TPR（召回率）与 FPR 的关系：

        TPR 反映的是分类器对正类样本的识别能力，而 FPR 反映的是分类器对负类样本的误识别程度。

        理想情况下，分类器的 TPR 应该高，FPR 应该低。但在实际应用中，随着 TPR 提高，FPR 也可能增加（特别是在分类器的决策阈值调整后），即分类器为了识别更多正例，可能会误识别一些负类样本为正例。

Precision 与 FPR 的关系：

        Precision 关注的是分类器识别出的正类样本的准确性，而 FPR 则表示负类样本被误识别为正类的比例。假正例（FP）的增加会降低 Precision，并提高 FPR。因此，Precision 与 FPR 也是有负相关的关系，FPR 增加通常会导致 Precision 降低。

2.5 试证明式(2.22)。

        为了证明 AUC（曲线下面积）和 lrank（排序损失）之