机器学习算法概述：随机森林&逻辑回归

 

随机森林是用于分类和回归的监督式集成学习模型。为了使整体性能更好，集成学习模型聚合了多个机器学习模型。因为每个模型单独使用时性能表现的不是很好，但如果放在一个整体中则很强大。在随机森林模型下，使用大量“弱”因子的决策树，来聚合它们的输出，结果能代表“强”的集成。

权衡偏差与方差

在任何机器学习模型中，有两个误差来源:偏差和方差。为了更好地说明这两个概念，假设已创建了一个机器学习模型并已知数据的实际输出，用同一数据的不同部分对其进行训练，结果机器学习模型在数据的不同部分产生了不同的输出。为了确定偏差和方差，对这两个输出进行比较，偏差是机器学习模型中预测值与实际值之间的差异，而方差则是这些预测值的分布情况。

简而言之：

偏差是当算法作了太多简化假设之后出现的错误，这导致模型预测值与实际值有所出入。

方差是由于算法对训练数据集中小变化的敏感性而产生的误差;方差越大，意味着算法受数据变化的影响更大。

理想情况下，偏差和方差都会很小，这意味模型在相同数据集的不同数据中的预测值很接近真值。当这种情况发生时，模型可以精确地学习数据集中的潜在模式。

随机森林是一种减少方差的算法

决策树以高方差、低偏差为人所知。这主要是因为它能够对复杂的关系，甚至是过拟合数据中的噪声进行建模。简单地说:决策树训练的模型通常是精确的，但常常在同一数据集中的不同数据样本之间显示出很大程度的变化。

随机森林通过聚合单个决策树的不同输出来减少可能导致决策树错误的方差。通过多数投票算法，我们可以找到大多数单个树给出的平均输出，从而平滑了方差，这样模型就不容易产生离真值更远的结果。

随机森林思想是取一组高方差、低偏差的决策树，并将它们转换成低方差、低偏差的新模型。

为什么随机森林是随机的?