跟我一起学scikit-learn12：算法模型性能优化

当我们辛苦开发出来的机器学习算法不能很好地预测新数据时，该怎么办呢？一般情况下，需要先判断这个算法模型是欠拟合还是过拟合。

如果是过拟合，可以采取的措施如下：

• 获取更多的训练数据：从学习曲线的规律来看，更多的数据有助于改善过拟合问题。
• 减少输入的特征数量：比如，针对手写识别系统，原来使用200x200的图片，总共40000个特征。优化后，可以把图片等比例缩小为10x10的图片，总共100个特征。这样可以大大减少模型的计算量，同时也减少模型的复杂度，改善过拟合问题。

如果是欠拟合，说明模型太简单了，需要增加模型的复杂度。

• 增加有价值的特征：重新解读并理解训练数据。比如针对一个房产价格预测的机器学习任务，原来只根据房子面积来预测价格，结果模型出现了欠拟合。优化后，增加其他的特征，比如房子的朝向、户型、年代、房子旁边的学校的质量（学区房）、房子的开发商、房子周边商业街个数、房子周边公园个数等。
• 增加多项式特征：有时，从已知数据里挖掘出更多的特征不是件容易的事情，这个时候，可以用纯数学的方法，增加多项式特征。比如，原来的输入特征只有$x_1$、$x_2$，优化后可以增加特征，变成$x_1$、$x_2$、$x_1{x}_1$、${x_1}^2$、${x_2}^2$。这样也可以增加模型的复杂度。回顾上一节的例子，当用一阶多项式拟合数据集时，使用的只有一个特征，而最终我们使用三阶多项式来拟合数据时，用的其实就是增加多项式特征这个方法。