数据集是先做预处理呢,还是先划分训练集测试集呢?
应该先划分数据集,理论上训练集和测试集是相互独立的。
想要让模型效果达到很好的泛化能力,就是能应对一切没有见过的挑战,这些挑战就是测试集中给出的,在训练集里并没有见过的,而在测试集里出现了;
要是在划分数据集前做了预处理,那么就会把测试集里的信息带入了训练集,可能最终的效果(对测试集的预测正确率)会有所提升,但其实模型并没有达到很好的泛华效果,不能很好的应对新来的数据;
所以应该先划分数据集,然后分别对训练集和测试集做预处理,,作为两个独立的单元,没有信息的交融。