2-9 模型评估指标
主目录点这里
评估指标
评估指标是指在特定任务或项目中,用于衡量、评估、比较性能或效果的量化标准
这里我要详细说一下混淆矩阵
以下是一个二分类混淆矩阵
有一个好记的方法,正正负负为正确,正负为错误。我们来举个例子理解以下:
我们要预测一条文本内容是不是回答微信手机号,如果是则为正例,如果不是则为负例。假设我有两万条的测试样本,其中1.8万不是回答微信手机号,其中2000条是回答微信手机号。
使用训练好的模型对这2万条测试数据进行预测,得到1.75万条不是回答微信手机号,只有2500条是回答微信手机号。
那么根据上图我们可以得到以下指标
这里的F1Score由精度(P)和召回率(R)计算得到
通常精度和召回率是相互对抗的,即精度高,召回率低;精度低,召回率高
有的情况,在业务中没有明确说以精度或召回率为单指标判断模型质量,便可以使用F1Score的值或者上图两平衡点区间做一个评判标准(这里查准率就是精度,查全率就是召回率)
AUC-ROC
回归的评估指标
绝对误差MAE(mean absolute error)
预测点与真实点之间距离差的绝对值的均值
均方误差MSE(mean squared error)
预测点与实际点之间距离差的平方和的均值
聚类的评估指标
了解下就好