涉及到问题的项目是 通过机器学习识别酒店异常订单。我训练集是用的正负样本一比一的配比来训练模型的,测试集的效果在一比一的配比下表现很好(由于业务方需求,效果只关注 模型预测为负样本中真实为负的占比),但是在真实的正负样本配比下表现很差(真实的正负样本配比来自于之前订单数据中的先验配比),请问这是什么原因呢?(我个人的猜想是由于真实场景中,异常数据的占比是很小的,所以有大量正样本杂糅在负样本中,导致模型在预测负样本时会把大量正样本预测错,从而导致上述的指标变低)
所以,一个模型的效果是按照一比一的配比来算,还是按照真实的正负样本配比来算?