机器学习------模型评估

网格搜索

自动设置超参数：学习率与正则化组合训练模型

K折交叉验证

在给定的建模样本中，拿出大部分样本进行建模，留小部分样本用刚建立的模型进行预报，并求这小部分样本的预报误差，记录他们的平方加和。
好处：数据使用率平均，每一次使用不同的数据对同一个模型进行训练

混淆矩阵

纵轴表示实际，横轴表示预测，每一个数字表示实际的值预测成了预测的值的数量。主对角线都是预测对的值的次数，其他均为错值的次数

单一实数评估指标

一、 用一个实数去做评估，更清晰明了的说明问题

真假例：预测与真实值是否一致 ，一致为真，不一致为假
正负例：预测结果与要求结果是否一致，一致为正，不一致为负

判断步骤：

• 1、判断预测结果是什么，如果为5，则为正例；
• 2、判断预测结果是否正确，预测正确为真例

二、查准率与查全率

查准率 = TP/(TP+FP)
分母包含所有样本，其中预测为5的比例

查全率 = TP/(TP+FN)
分母只包含有5的样本，其中预测为5的比例

小练习：
我们有100张数字图片，其中是5的有10张，不是5的有90张，现在需要根据一些特征预测出所有是5的图片。
有一个模型：
预测出是5的图片为9张，
其中8个确实是5，剩下1个预测错了，不是5
那这个模型的查准率和查全率各是多少？
答：

• 根据预测的结果是不是5 ，我们可以分为正例和负例：
  正例：9（因为我们预测出是5的图片为9张）
  负例： 91（因为我们预测出不是5的图片为100-9）
• 根据预测的正确与否去看是真正例/假正例，真负例/假负例
  真正例TP：8（图片是5，预测也是5） 假正例FP： 1（图片不是5， 预测是5）
  （真的是5但预测不是五的数目）假负例FN： 10 – 8 =2 （图片是5，预测不是5） 真负例TN：89（图片不是5， 预测值也不是5）

小练习：
一个班有100个人， 某场考试中有80个人及格, 20个人不及格，现在需要根据一些特征预测出所有及格的人。
有一个模型：
算出及格的人数为78个，
其中75个确实及格了，剩下3个实际上不及格
答： 主要是假负例的逻辑，首先理解假负的含义：及格但是预测为不及格。考试中有80个人及格，模型预测了75个人是真正及格的，那么差值5就是及格但是预测为不及格（假负）的数目

将查准率与查全率结合来判断模型的好坏：PR图

定义： 以查准率为纵轴，查全率为横轴作图，就得到了查准率-查全率曲线，简称“P-R曲线”
作用：

• P-R图直观地显示出学习器在样本总体上的查全率、查准率。在进行比较时，若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者。

• 若两个学习器的P-R曲线发生了交叉，则难以一般性断言两者孰优孰劣，只能在具体的查准率或查全率条件下进行比较

• 如果非要比出个高低，可以比较P-R曲线下面积的大小，或者比较平衡点（Break-Event Point）
  

查准率与查全率使用场景：

• 如果训练分类器去检测视频是否对小孩是安全的，宁愿拒绝很多好的视频也不能让哪怕一个不好的视频被小孩看到，这种情况就用低召回率去保证好的视频，也就是要高准确率

• 如果监视录像中去检测商店小偷，那么我们可以要高召回率，低准确率（宁杀错不放过）。

三、真正率与假正率

真正率：正样本预测结果数 / 正样本实际数
假正率：被预测为正的负样本结果 / 负样本实际数

利用真正率假正率判断模型的好坏：ROC曲线

含义： 对于一个ROC曲线来说，这个曲线可以理解为一个模型，用不同的阈值画出来的曲线
纵轴：真正例率（True Positive Rate）,TPR；
横轴：假正例率（False Positive Rate）,TPR
（0，1）表示最好的情况，（1，0）表示最差的情况

判断标准：AUC面积

• 若一个学习器的ROC曲线被另一个学习曲线完全“包住”，则可断言后者的性能
  优于前者
• 若两个学习器的ROC曲线发生交叉，则难以一般性地断言两者孰优孰劣
  如果一定要进行比较，则较为合理的判断是比较ROC曲线下的面积，即AUC（Area Under Roc Curve）
• AUC特点：面积数值不会大于1
  AUC一般情况下取值范围在0.5和1之间；
  使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好
  

四、准确率

真实情况下判断为正确的值作为分子，样本数为分母

模型评估小案例

模型评估具体操作code：minst.py