机器学习算法概述：随机森林&逻辑回归

摘要： 机器学习算法入门介绍：随机森林与逻辑回归！

 

随机森林是用于分类和回归的监督式集成学习模型。为了使整体性能更好，集成学习模型聚合了多个机器学习模型。因为每个模型单独使用时性能表现的不是很好，但如果放在一个整体中则很强大。在随机森林模型下，使用大量“弱”因子的决策树，来聚合它们的输出，结果能代表“强”的集成。

权衡偏差与方差

在任何机器学习模型中，有两个误差来源:偏差和方差。为了更好地说明这两个概念，假设已创建了一个机器学习模型并已知数据的实际输出，用同一数据的不同部分对其进行训练，结果机器学习模型在数据的不同部分产生了不同的输出。为了确定偏差和方差，对这两个输出进行比较，偏差是机器学习模型中预测值与实际值之间的差异，而方差则是这些预测值的分布情况。

简而言之：

偏差是当算法作了太多简化假设之后出现的错误，这导致模型预测值与实际值有所出入。

方差是由于算法对训练数据集中小变化的敏感性而产生的误差;方差越大，意味着算法受数据变化的影响更大。

理想情况下，偏差和方差都会很小，这意味模型在相同数据集的不同数据中的预测值很接近真值。当这种情况发生时，模型可以精确地学习数据集中的潜在模式。

随机森林是一种减少方差的算法

决策树以高方差、低偏差