【机器学习与深度学习理论要点】15. 什么是决策树？决策树的特点及使用情况

1）什么是决策树？

决策树的核心思想是：相似的输入必然产生相似的输出。决策树通过把数据样本分配到树状结构的某个叶子节点来确定数据集中样本所属的分类。决策树可用于回归和分类。当用于回归时，预测结果为叶子节点所有样本的均值。

2）决策树的特点

①优点

• 简单易懂，容易解释，可视化，适用性广。
• 可用于分类、回归问题。

②缺点

• 容易过拟合。
• 数据中的小变化会影响结果，不稳定。
• 每一个节点的选择都是贪婪算法，不能保证全局最优解。

3）什么情况下使用决策树？

• 适合于标称型（在有限目标集中取值）属性较多的样本数据。
• 具有较广的适用性，当对模型不确定时可以使用决策树进行验证。

4）随机森林

随机抽取部分样本和随机抽取部分特征相结合构建多颗决策树，这样不仅削弱了强势样本对预测结果的影响，同时削弱了强势特征的影响，提高了模型的泛化能力。