协变量偏移与领域偏移

转载于https://zhuanlan.zhihu.com/p/195704051

协变量偏移Covariate Shift

数据集偏移 Dataset Shift的一种，源域与目标与边缘分布不同，条件分布和标签分布均相同。即学习任务相同，标签分布也相同，但是输入空间的数据存在一定的分布偏差。。

为啥叫协变量偏移？
统计学家称这种协变量变化是因为问题的根源在于特征分布的变化（统计学中的协变量即机器学习中的特征的概念[4]）。

协变量偏移与领域偏移的关系？
我认为领域偏移要求不同Domain的输入空间有共同的预测所依赖的隐变量（相关因子），只是因为获取数据的传感器（如相机vs手机，拍摄视角，清晰度，光线条件）等引起了混淆因子的改变，有相同的相关因子是关键；而协变量偏移是指数据输入空间发生了改变，这种改变并不一定会对相关因子进行保留。因此我认为，数据中的相关因子的分布发生变化与否是这两者的主要区别。不过协变量偏移是一个更大的概念，讲Domain shift解释为其分支可能是更合适的说法。