交叉熵下的模型评估，auc还是loss？

    评估模型的好坏我们经常使用2个指标，auc和loss。但是有的时候我们发现auc和loss趋势并不是一致的，比如loss下降，auc也下降，那当loss和auc趋势不一致时到底应该以哪个指标为准呢？我的经验是，如果测试集和训练集的分布是一致的，那应该以loss为准，因为模型本身优化的就是loss最低，所以从这个角度看，loss低意味着模型优化的方向是对的，auc低大概率也只是暂时在这部分测试集的表现。但是如果训练集和测试的分布不一致，或者分布差异较大，这个时候则需要以auc为准，因为这个时候的loss其实带有了较大的系统误差，比如预估值整体左偏或者右偏，直观表现就是pcoc会显著偏离1。那如何判断训练集和测试集的分布是否一致呢？最简单的方法，直接统计label中每种类型的比例，如果训练集和测试集相差不大，说明分布差异较小。