第二章 模型评估与选择

题

2.1

采样角度：
采用分层采样，因此要保证训练集里有350个正例、350个反例，测试集里有150个正例，150个反例

划分方式角度：
具体划分数值已确定（70%训练，30%测试），那么就开始从500个正例中挑350个放入训练集，500个反例中挑350个放入训练集，剩下的放入测试集。

挑哪些放入训练集就是数学的组合问题：
正反例都要挑，因此结果为 $C_{500}^{150}$ * $C_{500}^{150}$

2.2

留一法：就是令k折交叉验证法的k等于样本数量，也就是只留出一个数据作为测试。在原本100个样本数据中，正好50个正例、50个反例，若挑出一个正例，那反例多，预测结果一定为反例，若挑出反例，那预测结果一定为正例，因此错误率为100%
10折交叉验证法：分为10个互斥子集，且每个子集保证数据分布一致性，因此那就是每个子集10个样本，5个正例，5个反例，因此训练样本中正反例个数相等，最后的错误率为50%

2.3（有争议）

2.4

TP：真正例
TN：真反例
FP：假正例
FN：假反例
查准率：P=TP/(TP+FP)；你认为的对的中有几个是真的对
查全率：R=TP/(TP+FN)；所有对的中你猜出几个
真正例率：TPR=TP/(TP+FN)；同查全率
假正例率：FPR=FP/(TN+FP)；所有反例中被预测为正的比率，也是所有反例中的假正例率

2.5（有争议）

每个测试样例的结果只能是TP、FN、FP、TN这四种，而横坐标轴是FPR=FP/(TN+FP)，纵坐标轴是TPR=TP/(TP+FN)，无论预测结果是哪个，都不会引起横纵坐标同时变化，所以我认为此图不应该存在斜线。在ROC曲线中，一条横线对应一个（或多个）负样本， 一条竖线对应一个（或多个）正样本 ，即与BEP一样，学习器先将所有测试样本按预测概率排序，越可能是正的排在越前面。然后依次遍历，每扫描到一个位置，如果是正例，则ROC曲线垂直向上，如果是反例，曲线水平往右。
预测结果一般在0~1之间，大于0.5是正例，小于等于0.5是反例，因此公式2.21是计算了正例的预测值小于等于反例预测值的情况，也就是ROC曲线上方白色空白的面积，因此即证。

2.6

错误率：m个样本中a个分类错误，E=a/m；
错误率是在阈值固定的情况下得出的，ROC曲线是在阈值随着样本预测值变化的情况下得出的。且ROC曲线y轴对应的为TPR=TP/(TP+FN)，x轴对应的FPR=FP/(TN+FP)，因此
E=(1-TPR)+FPR=FN/(TP+FN)+FP/(TN+FP) 即E=正例中分错的+反例中分错的

2.7

ROC曲线上的每一点对应了代价平面上的一条线段，

2.8

Min-max 规范化优点1、计算相对简单一点。2、当新样本进来时，只有在新样本大于原最大值或者小于原最小值时，才需要重新计算规范化之后的值。缺点在于容易受高杠杆点和离群点影响。

z-score 规范化优点在于。1、对异常值敏感低。缺点在于计算更繁琐，且每次新样本进来都需要重新计算规范化。

2.9

个人感觉是McNemar检验

2.10

不懂！