数学建模——用于模型评估的几个概念(纯概念)

  • 查准率与查全率

查准率,就是所有预测结果中正确值所占的比例。而查全率则是实际结果中被预测到的值所占的比例。这样讲,为免太抽象,所以就用这么一张图来演示,以居民收入普查为例,要预测收入大于定于5万的人:

设接受普查的居民为全集;1+2为真实值的集合;2+3是预测值的集合:

查准率越高,命中的真确结果个数越多,预测准确性越高 。查全率越高,预测的完整性越高。为了用于表示以上这些东西,我们定义了一个叫做混淆矩阵的东西。


  • 混淆矩阵

混淆矩阵的行表示预测值信息,列表示真实值信息。当值为1时,表示满足条件,即收入大于等于5万;反之为零时表示小于5万。示意如图所示

注:1行1列代表图中蓝色的2;1行0列代表黄色的3;0行1列代表白色的1;0行0列则是全集剩下的部分。所以仔细观察可以条件概率来推导:

                                       

Precision是查准率,Recall是查全率。


  • 指标定义

很明显,这两个值是越高越好。可是然而,查准率与查全率往往存在此消彼长的关系。为了定义评估模型的量我们引入了F1Score,来综合表示查准率和查全率的准确性:

为了定义不同场景下的查全查准率,引入Fbeta Score

                                                    

 

β越接近0,F{\beta }越接近查准率;β越接近+∞,F{\beta }越接近查全率。可以用这张图帮助记忆:

                    

最后一步自然是评估模型。


 

  • 模型的评估——ROC曲线和AUC指标

定义真阳性率(TPR)为阳性率(FPR),其实说白了,就是将查准率与查全率表达式的分母交换一下:

                                                              

TPR代表预测的收益,FPR则是预测代价。它们是用来描述ROC空间的,它的横轴是FPR(代价),纵轴是TPR(收益)。(0,1)坐标表示完美预测结果,所以点越靠近左上越完美。

这是ROC空间示例:

               

注:落在对角线下方的点,要沿对角线翻转。

作出ROC曲线后,它与x轴围成的面积即为AUC(曲线下面积)。一般来说AUC越大模型越好,如图示例:

                                       


END

©️2020 CSDN 皮肤主题: 像素格子 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值