非均衡分类问题

机器学习模型性能评估

什么是非均衡分类问题？
非均衡问题是指在分类器训练时，正例数目和反例数目不相等（相差很大），或者错分正反例导致的代价不同时存在的问题。而大多数情况下，不同类别的分类代价并不相等，而诸如信用卡欺诈等场景中，正反例的样本的数目相差巨大，这就需要一些新的分类器性能度量方法和技术，来处理上述均衡问题。

分类性能度量指标：错误率、正确率、召回率及ROC曲线
错误率是衡量分类器任务的成功程度的，但是其掩盖了样例如何被分错的事实，即在二分类问题中，到底是正确的被分类为错误的还是错误的被分类为正确的，因为正反样例的分类代价不同，其分错分产生的代价也将不同。由此提出了混淆矩阵的概念。

二分类问题的混淆矩阵：

由混淆矩阵定义出两个重要的新指标：
正确率： 预测为真理例的样本中真正为正例的比例
$$\frac{TP}{TP+FP}$$
召回率： 真实结果为正例中的样本中预测为正例的比例
$$\frac{TP}{TP+FN}$$
通常情况下，正确率高时， 召回率低；召回率高时，正确率低。所以需要根据真实情况选择保证高正确率还是高召回率。

度量分类中的非均衡性的工具 ：ROC曲线
通过调节分类器的阈值来处理非均衡分类代价，即形成ROC曲线

图中的横轴是伪正例的比例（假阳率=FP/(FP+TN)），而纵轴是真正例的比例（真阳率=TP/(TP+FN)）。ROC曲线给出的是当阈值变化时假阳率和真阳率的变化情况。左下角的点所对应的是将所有样例判为反例的情况，而右上角的点对应的则是将所有样例判为正例的情况。虚线给出的是随机猜测的结果曲线。
理想情况下，最佳的分类器应该尽可能地处于左上角，这就意味着分类器在假阳率很低
的同时获得了很高的真阳率。
对不同的ROC曲线进行比较的一个指标是曲线下的面积（Area Unser the Curve，AUC）。AUC给出的是分类器的平均性能值，当然它并不能完全代替对整条曲线的观察。一个完美分类器的AUC为1.0，而随机猜测的AUC则为0.5。
为了画出ROC曲线，分类器必须提供每个样例被判为阳性或者阴性的可信程度值。尽管大多数分类器都能做到这一点，但是通常情况下，这些值会在最后输出离散分类标签之前被清除。朴素贝叶斯能够提供一个可能性，而在Logistic回归中输入到Sigmoid函数中的是一个数值。在AdaBoost和SVM中，都会计算出一个数值然后输入到sign()函数中。所有的这些值都可以用于衡量给定分类器的预测强度。为了创建ROC曲线，首先要将分类样例按照其预测强度排序。先从排名最低的样例开始，所有排名更低的样例都被判为反例，而所有排名更高的样例都被判为正例。该情况的对应点为<1.0,1.0>。然后，将其移到排名次低的样例中去，如果该样例属于正例，那么对真阳率进行修改；如果该样例属于反例，那么对假阴率进行修改。

实现代码如下：

"""
func: 绘制ROC曲线

params:
    predStrength: 分类器的预测强度，在分类器和训练函数将这些数值应用到sign()函数