rachesherlock的博客

原创 （机器学习）测试集和训练集的划分对预测结果的影响

由于该组数据整体方差较大，因此根据某一个特征的大小进行划分时，尤其是生成二次项之后，很容易出现测试集的平均数值明显比训练集要大的情况。在使用python对35717组数据进行回归分析时，在生成二次项之后，发现使用线性回归模型时测试集MSE特别大，而且r^2系数出现负值。采用8:2的比例对原数据划分训练集和测试集进行划分，并且采用随机分配的方式。可能是因为测试集中出现异常较大的值，或者测试集某些特征整体数值较大。通过此方式划分的测试集和训练集，模型预测结果有了很好的改善。