Bias and Variance with mismatched data distribution 不相称数据分布的偏差和方差
应对在mismatched data distribution情况下的模型评估,构建了development-train set作为中间评估手段。各个数据集之间的error反应的模型的问题如下图所示
举个例子:
如何消除由于data mismatch 造成的模型问题
- 先看看 dev-train set error 和 dev set error有差距的原因是什么
- 人工合成一些更靠近dev set的数据添加到train set中,但是要小心在人工合成中因为合成材料数量小而可能造成的模型overfitting到局部的情况。