1. 对训练数据不做过多解释,模型简单比较好,模型简单对数据的解释就比较简单,解释的会更好。用简单的模型解释资料可以解释的话,可以说明数据的规律,如果模型复杂,就不知道数据的规律。所以做机器学习的时候先从简单的模型开始做起。
模型简单:参数比较少或者模型假设比较少,这两者其实是有关系的。
2. 抽样偏差(sampling bias)。也就是你的训练数据来自的分布与实际的分布不相符合,就是你的训练数据和测试数据分布不同,这样得到的模型效果就会有问题。训练数据有问题,那么采用验证方式对模型进行验证,可能两者都会比较小,因为他们两者相同的分布,所以这样得到的模型会有问题。
所以你要采用的方式就是在训练数据的时候和测试数据保持一样的环境。比如你分出的验证集可以不用随机性,按照需求来设定。
3. 偷看资料(visual data snooping):偷看资料会造成我们人为干扰模型的建立,会对模型造成污染。利用了测试数据的信息,哪怕只是直接或者间接利用一点点,也会造成问题。慎重的处理偷看资料的问题。这个问题很难避免,如果完全不看,有时候也得不到好的结果。
小心的重复使用交叉验证。做决定之前尽量不看资料。选择一个模型。