机器学习关键步骤（三）

机器学习关键步骤（三）

机器学习有四个关键步骤。

(1) 数据准备，理和准备待分析的数据。

(2) 算法选择，根据需求挑选算法为数据建立模型。

(3) 参数调优，优化模型结果。

(4) 模型评估，根据准确度评价模型选出最好的。

3算法选择

3.1　参数调优

在数据科学中，可用的算法有很多。利用这些算法，可以得到很多不错的模型。然而，即便是同一个算法，如果参数调得不一样，所产生的结果也各不相同。

参数选项用来调节算法的设置，就像调节收音机的频道一样。不同的算法有不同的调节参数。

毫无疑问，如果模型的参数调得不合适，它的准确度就会受影响。举例来说，同一个分类算法在区分橙点和蓝点时可能产生多个边界，如图所示。

比较同一个算法在不同参数作用下的预测结果

在图 a 中，算法过度敏感，它把数据中的随机波动错误地当成持久模式，这就是常说的过拟合问题。过拟合模型对当前数据有着很高的预测准确度，但是对未知数据的预测准确度较差，也就是说，过拟合模型的泛化能力不强。

相反，在图 c 中，算法过于愚钝，它忽视了数据中的基本模式，这就是欠拟合问题。欠拟合模型很可能会忽视数据中的重要趋势，这会导致模型对当前数据和未知数据的预测准确度下降。

如果参数调得恰好合适，算法就能在识别主要趋势和忽视微小变化之间找到平衡，使最终得到的模型非常适合做预测，如图 b 所示。

对于大多数模型而言，过拟合是常见问题。为了最大限度地减少预测误差，可能会增加预测模型的复杂度，从而导致出现如图 a 所示的结果，即预测边界过度复杂。

控制模型整体复杂度的一种方法是，通过正则化引入惩罚参数。这个新参数会通过人为增大预测误差，对模型复杂度的增加进行惩罚，从而使算法同时考虑复杂度和准确度。使模型保持简单有助于提高模型的泛化能力。