ML 训练与测试数据不满足同分布 - 如何检测？如何解决？

😄 同分布问题是数据挖掘中的常见问题，也是ML中的一个重要假设。解决训练与测试数据不满足同分布问题，有助于提高模型的泛化性、稳定性！

---

一、定义：训练与测试数据不满足同分布

定义：

不满足同分布，也就是指训练与测试数据的数据集偏移问题。
数据集偏移用公式定义的话也就是说，训练集与测试集的联合概率分布不一致：

P_train(x, y) ≠ P_tese(x, y)

学过概率论的应该都记得，贝叶斯定理：

P(x, y) = P(y|x) * P(x) = P(x|y) * P(y)

• P(x)：输入空间的边缘概率分布
• P(y)：输出空间的标签分布
• P(y|x)：条件概率分布

从贝叶斯定理来看，只要其中的一项有变动，那P(x, y)就会改变，也就是数据集偏移，造成数据不满足同分布。
所以呢，以上3种因素分别对应如下3种造成数据不满足同分布问题的情况：
⭐ 协变量偏移：输入空间的边缘概率分布P(x)的变化，即特征分布的变化造成的（协变量指特征）。如测试集中出