机器学习模型定点化_选择合适机器学习模型的一些关键问题

本文将介绍选择合适机器学习模型时要注意的一些关键问题。

a)奥卡姆剃刀

预测模型必须尽可能简单，但不要太简单。通常被称为奥卡姆剃刀，这是所有机器学习的基本原则。

因此，奥卡姆剃刀是一条简单的经验法则-鉴于两个模型在有限的训练或测试数据中显示出相似的“性能”，我们​​应该选择对尚未看到的数据做出较少假设的模型。

b)过度拟合

过度拟合是一种现象，即机器学习模型变得过于复杂，无法满足当前任务的要求，因此存在泛化性能差的问题。

当模型学习训练数据中的细节和噪声时，就会过度拟合，从而对模型在新数据上的性能产生负面影响。

当统计模型或机器学习算法捕捉到数据的噪声时，就会发生过拟合。直观地说，当模型或算法太拟合数据时，就会发生过拟合。

c)正则化

正则化是通过训练算法来控制模型复杂度的一种简化方法。这种技术不鼓励学习更复杂或更灵活的模型，从而避免了过度拟合的风险。

正则化的作用：

1. 它显著减少了模型的方差，而没有明显增加偏差。
2. 在过度拟合的情况下使用。
3. 它缩小并调整系数以进行更好的预测，而不会丢失数据的重要属性。

d)偏差-方差权衡

• 由偏差引起的误差是预期(或平均)模型预测值与正确值(或真实值)之间的差值。
• 方差引起的误差是数据集更改时模型结果的可变性。
• 高方差会增加点的分布，从而导致预测的准确性降低。
• 低偏差高方差模型是过度拟合模型
• 方差是对给定点的预测在不同的训练数据样本之间变化的程度。
• 高方差模型非常关注训练数据，对测试数据的泛化能力不强。
• 低偏差算法不容易学习，但非常灵活，因此具有较高的预测性能。
• 高偏差低方差模型是一种欠拟合模型
• 高偏差算法容易学习，但灵活性较差，因此预测性能较差。

e)模型复杂度

指定模型所需的参数数量。例如，在解释属性x1、x2、x3上的响应属性y的简单线性回归中，模型y = ax1+bx2比模型y = ax1+bx2+cx3“更简单”——后者需要3个参数，而第一个模型需要2个参数。

f)交叉验证

数据集随机分为k个大小相等的样本。

在k个样本中，保留了一个子样本作为验证数据集以测试模型，其余的k-1个用于训练数据。

这个过程重复k次，结果可以取平均值以产生一个单独的估计。

g)Hold-Out策略

Hold-out是指将机器学习数据集分为“训练”和“测试”集。训练集是模型的训练对象，测试集用于查看模型在看不见的数据上的表现。

使用Hold-out方法时，常见的拆分方式是将80％的数据用于训练，其余20％的数据用于测试。