一些对于模型的评判标准（R方与AUC）

我们在做逻辑回归或是其他线性模型的时候，经常会遇到一个模型衡量指标叫做 ，网上很多一个普遍的解释是：表达了2个变量间关系的解释程度百分比程度 / 你的你和曲线对于模型variance的减少百分比。

那么到底是什么呢，首先计算样本的总平方和TSS(Total Sum of Squares)：

然后计算残差平方和RSS(Residual Sum of Squares)：

那么

越大，拟合效果越好。最优值为1。

若模型预测为随机值，R2有可能为负，若预测值恒为样本期望，R2为0 。

 

AUC（Area under curve）

AUC是Area under curve的首字母缩写。Area under curve是什么呢,从字面理解,就是一条曲线下面区域的面积。所以我们要先来弄清楚这条曲是什么。这曲有名字,叫ROC曲线。ROC曲线是统计里面的概率,最早由电子工程师在二战中提出来。

首先我们看一个图

针对于二分类模型的判断结果，我们一般都四种情况。

1.预测为正，实际为正，则为TP(True Positive)

2.预测为正，实际为负，则为FP(False Positive)

3.预测为负，实际为正，则为FN(False Negtive)

4.预测为负，实际为负，则为TN(True Negtive)

我们所希望的是TP与TN尽量多，FP与FN尽量少。

所以我们一般用的是准确率：(TP+TN) / (TP+TN+FN+FP)。

可是就算是准确率一样的模型，效果也会有不一样。比如有的FP多一点，有的FN多一点。具体哪个比较重要，要看实际情况。比如说去医院判断是否有癌症，初诊肯定是宁肯错杀一千，也不放过一个。FN可以接受，FP是最好一个都没有。

所以我们还有几种公式，

精确率是相对于预测结果而言的，它表示的是预测为正的样本中有多少是对的；那么预测为正的样本就有两种可能来源，一种是把正的预测为正的，这类有TruePositive个, 另外一种是把负的错判为正的，这类有FalsePositive个，因此精确率即：TP/(TP+FP)。要求FP尽量少。

召回率是相对于样本而言的，即样本中有多少正样本被预测正确了，这样的有TP个，所有的正样本有两个去向，一个是被判为正的，另一个是错判为负的，因此总共有TP+FN个，所以，召回率 R= TP / (TP+FN)。要求FN尽量少。

然后我们思考一下如何去整体的评判一个二分类模型，把这些情况都综合起来。便有了ROC曲线与AUC。

首先介绍一下真阳性率TPR=TP/(TP+FN)其实就是召回率。这个值越高越好，同时也代表模型的筛查标准更宽松。

然后是假阳性率FPR=FP/(FP+TN)，代表所有的负样本中有多少被查错了，被分类成了正。这个值越小越好，同时这个代表模型的筛查标准越严格。

这两个值对于一个模型互相相关的，我们可以画出下面的图即ROC曲线：

越靠左下越宽松，越靠右上越严格。而且函数一定经过（0,0）与（1,1）两点。我们所希望的是TPR高FPR低。那么很显然，这个函数与下面和右面的坐标轴形成的形状面积越大越好。这个就叫做AUC。

AUC的计算方法同时考虑了分类器对于正例和负例的分类能力，在样本不平衡的情况下，依然能够对分类器作出合理的评价。
例如在反欺诈场景，设欺诈类样本为正例，正例占比很少(假设0.1%），如果使用准确率评估，把所有的样本预测为负例，便可以获得99.9%的准确率。 
但是如果使用AUC，把所有样本预测为负例，TPRate和FPRate同时为0(没有Positive)，与(0.0)(1,1)连接，得出AUC仅为0.5，成功规避了样本不均匀带来的问题。