机器学习衡量指标

个人笔记，如有错误，欢迎指正

转载链接：

1. 机器学习评估指标
2. 机器学习评价指标大汇总

下面为个人根据两篇文章整理的笔记，即机器学习中常用到评估指标，且大致分为如下四种应用场景：分类问题、回归/拟合问题、聚类问题、信息检索

分类问题

指标	计算公式	指标说明	缺点
精度$(Accuracy)$	$$\begin{gathered} Acc(y,\hat{y})=\frac{1}{n}\sum _{i=1}^{m}sign({\hat{y}}_i,y_i), \\ sign({\hat{y}}_i,y_i)\{\begin{array}{ll}1,& if{\hat{y}}_i=y_i\\ 0,& if{\hat{y}}_i\ne y_i\end{array} \end{gathered}$$	预测正确的样本占总样本的比例，取值范围为$[0,1]$，取值越大，模型预测能力越好	对于有倾向性的问题，或者样本类别数量严重失衡的情况，一般不用精度指标衡量
混淆矩阵$(ConfusionMatrix)$	$$\{\begin{array}{ll}Truepositive(TP),& 真实值为Positive,预测值为Positive\\ Truenegative(TN),& 真实值为Negative,预测值为Negative\\ Falsepositive(FP),& 真实值为Negative,预测值为Positive\\ Flasenegative(FN),& 真实值为Positive,预测值为Negative\end{array}$$	更详细表明真实值与预测值之间的关系，矩阵见下面内容
准确率/查准率$(Precision)$	$$P=\frac{TP}{TP+FP}$$	分类器预测的正样本中，预测正确的样本数的比例，取值范围为[0,1]，取值越大，模型预测能力越好
召回率/查全率$(Recall)$	$$R=\frac{TP}{TP+FN}$$	分类器所预测正确的正样本占所有正样本的比例，取值范围为[0,1]，取值越大，模型预测能力越好
$F\beta Score$	$$F_{\beta }=(1+{\beta }^2)\times \frac{Precision\times Recall}{{\beta }^2\times Precision+Recall}$$	统一$Recall$和$Precision$的矛盾，即利用两者的加权调和平均值作为衡量标准,$\beta$越大，$Recall$的权重越大，反之，$Precision$的权重越小	该指标无法直观反映数据的情况，同时业务含义相对较弱，实际工作用到的不多
$AUC(AreaUnderCurve)$	$AUC$值为$ROC$曲线所覆盖的区域面积	$AUC$越大，分类器效果越好，$AUC=0.5$时，分类效果最差，类似于随机猜测。反应分类器对样本的排序能力，对样本类别是否均衡并不敏感	仅仅适用于二分类模型
$KS(Kolmogorov-Smirnov)$		区分预测正负样本分隔程度的评价指标，一般应用于金融风控领域
$Kappa$系数	$$\kappa =\frac{p_0-p_e}{1-p_e}=1-\frac{1-p_0}{1-p_e}$$	衡量两种标注结果的吻合程度，值越大越好
……	……	……	……

混淆据矩阵具体内容如下所示：
$$\begin{array}{ccc}\text{混淆矩阵}& \text{预测值Positive}& \text{预测值Negative}\\ \text{真实值Positive}& TP& FN\\ \text{真实值Negative}& FP& TN\end{array}$$

回归/拟合问题

指标	计算公式	指标说明	缺点
$$\begin{gathered} MAE \\ (MeanAbsoluteError) \end{gathered}$$	$$MAE(y,\hat{y})=\frac{1}{m}\sum _{i=1}^n|y_i-{\hat{y}}_i|$$	平均绝对误差，也称$L1$范数损失，衡量预测值与真实值之间的距离	绝对值的存在, 导致函数不光滑，某些点上不能求导
$$\begin{gathered} MSE \\ (MeanSquaredError) \end{gathered}$$	$$MSE(y,\hat{y})=\frac{1}{m}\sum _{i=1}^n{\left(y_i-{\hat{y}}_i\right)}^2$$	均方误差	$MSE$与目标变量的量纲不一致
$$\begin{gathered} RMS \\ (RootMeanSquaredError) \end{gathered}$$	$$RMSE(y,\hat{y})=\sqrt{\frac{1}{m}\sum _{i=1}^n{\left(y_i-{\hat{y}}_i\right)}^2}$$	均方根误差	$MRSE$的取值大小与具体的应用场景有关系，很难定义统一的规则来衡量模型的好坏
$R^{2}score$	$$R^2(y,\hat{y})=1-\frac{SSE}{SST}=1-\frac{{\sum }_{i=1}^n{\left(y_i-{\hat{y}}_i^2\right)}^2}{{\sum }_{i=1}^n{\left(y_i-{\overline{y}}_i^2\right)}^2}=1-\frac{MSE(\hat{y},y)}{Var(y)}$$	决定系数,反映应变量的变异能通过回归关系被自变量解释的比例	对异常点较敏感

以上的评估指标是基于误差的均值对进行评估的，均值对异常点较敏感，如果样本中有一些异常值出现，会对以上指标的值有较大影响，即均值是非鲁棒性的。通常用以下方法解决评估指标的鲁棒性问题：

1. 剔除异常值。设置一个阈值，当某个点的误差超过该阈值时，认为该点是异常点，剔除该点，之后再计算平均误差来对模型进行评价
2. 使用误差的分位数来替代。如利用中位数$MAPE$来替代平均数，即$MAPE=median(\frac{|y_i-{\hat{y}}_i|}{y_i})$也可以使用其他分位数。

聚类问题

指标	计算公式	指标说明	缺点
兰德指数$(RandIndex)$	$$RI=\frac{a+b}{C_2^{n_{samples}}}$$，其中$C_2^{n_{samples}}$为数据集中可以组成的总元素对数	$RI$取值范围为$[0,1]$，值越大，聚类效果与真实情况越吻合	对于随机结果，$RI$并不能保证分数接近0，因此提出$ARI$
调整兰德系数$(AdjustedRandIndex)$	$$ARI=\frac{RI-E[RI]}{max(RI)-E[RI]}$$	取值范围为$[-1,1]$，值越大意味着聚类结果与真实情况越吻合
互信息$(MutualInformation)$	$$MI(U,V)=\sum _{i=1}^{|U|}\sum _{j=1}^{|V|}P(i,j)log\left(\frac{P(i,j)}{P(i)P^{{}^{\prime }}(j)}\right)$$	衡量两个数据分布的吻合程度
轮廓系数$(Silhouettecoefficient)$	$$s=\frac{b-a}{max(a,b)}$$，$a$时与它同类别中其他样本的平均距离，$b$时与它距离最近不同类别中样本的平均距离	适用于实际类别信息未知的情况，取值范围为$[-1,1]$，同类别样本距离越近，且不同类别样本距离越远，分数越高

信息检索

信息检索IR的评价指标综述

参考文献

1. markdown中公式编辑教程
2. CSDN 输入公式的方法
3. 机器学习评估指标
4. 机器学习评价指标大汇总