本文介绍了集成学习中的 AdaBoost、Bagging 和随机森林算法，对比了它们的特点和应用场景。AdaBoost 适用于二分类任务，而 Bagging 可处理多分类和回归任务。随机森林在样本和属性扰动中增加多样性，提高泛化性能。回归树虽然返回离散的均值，但在集成学习中扮演重要角色。最后，文章给出了随机森林的Python预测代码。
首先明确一下回归与分类的区别：
分类和回归的区别在于输出变量的类型。
定量输出称为回归，或者说是连续变量预测；
定性输出称为分类，或者说是离散变量预测。
举个例子：
预测明天的气温是多少度，这是一个回归任务；
预测明天是阴、晴还是雨，就是一个分类任务；
决策树三种算法特性对比：
ID3特点:
（1）节点优先选取采用信息增益作为标准。
（2）容易造成过度拟合（倾向于选择分类多的节点）
（3）容易处理标称型数据（主要用于分类），但是很难处理连续型 数据（主要用于回归）。
4.5特点：
（1）既能处理标称型数据，又能连续型数据。为了处理连续型数据，该算法在相应的节点使用一个属性的阈值，利用阈值将
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
