深度学习auc_auc多少合格的直观感受

有人问我一个问题，你觉得auc多少算合格呢？

尝试了两个例子，mnist和cifar-10。先分别看一下两者跑出来的accuracy和auc。

mnist

mnist的acc是0.98， 而auc：

ovr_macro_auc: 0.99980,

ovo_macro_auc: 0.99979

ovr_weighted_auc:0.99980

ovo_weighted_auc:0.99980

代码参考：https://github.com/lmxhappy/learn/tree/master/learn_ml/auc/mnist​github.com

cifar-10

随意写的cnn网络，随意训练了2个epoch：

Accuracy of the network on the 10000 test images: 54 %

各个类别的accuracy：

Accuracy of plane : 64 %

Accuracy of car : 69 %

Accuracy of bird : 47 %

Accuracy of cat : 29 %

Accuracy of deer : 44 %

Accuracy of dog : 60 %

Accuracy of frog : 65 %

Accuracy of horse : 49 %

Accuracy of ship : 60 %

Accuracy of truck : 58 %

看上去不准的模型，猜猜auc多大？0.88

代码参考：https://github.com/lmxhappy/learn/blob/master/learn_ml/auc/cifar10/cifar10_tutorial.ipynb​github.com

总结

mnist和cifar-10都容易识别，最新结果都做到了0.99以上。

本文中，用充分训练的mnist和不充分训练的cifar-10举例，想说明，对于但凡好识别的数据，auc都不会很差。

一位有经验的前辈告诉我，无论如何都要0.8以上，像足球预测之类难题除外，0.7就不错了