有人问我一个问题,你觉得auc多少算合格呢?
尝试了两个例子,mnist和cifar-10。先分别看一下两者跑出来的accuracy和auc。
mnist
mnist的acc是0.98, 而auc:
ovr_macro_auc: 0.99980,
ovo_macro_auc: 0.99979
ovr_weighted_auc:0.99980
ovo_weighted_auc:0.99980
代码参考:https://github.com/lmxhappy/learn/tree/master/learn_ml/auc/mnistgithub.com
cifar-10
随意写的cnn网络,随意训练了2个epoch:
Accuracy of the network on the 10000 test images: 54 %
各个类别的accuracy:
Accuracy of plane : 64 %
Accuracy of car : 69 %
Accuracy of bird : 47 %
Accuracy of cat : 29 %
Accuracy of deer : 44 %
Accuracy of dog : 60 %
Accuracy of frog : 65 %
Accuracy of horse : 49 %
Accuracy of ship : 60 %
Accuracy of truck : 58 %
看上去不准的模型,猜猜auc多大?0.88
代码参考:https://github.com/lmxhappy/learn/blob/master/learn_ml/auc/cifar10/cifar10_tutorial.ipynbgithub.com
总结
mnist和cifar-10都容易识别,最新结果都做到了0.99以上。
本文中,用充分训练的mnist和不充分训练的cifar-10举例,想说明,对于但凡好识别的数据,auc都不会很差。
一位有经验的前辈告诉我,无论如何都要0.8以上,像足球预测之类难题除外,0.7就不错了