【基于CART的随机森林学习笔记】

算法描述

1.随机森林是指一片森林的每棵树都表决，进而根据少数服从多数的原则决断出最后的结果。此篇以CART作为每一棵树的基本模型来说明。
2.算法过程：
①Bootstrap sample构造数据集。
②为每个数据集构造决策树。
③所有子树投票表决。

知识储备

1.随机森林(Bootstraping)
Bootstraping在[3]章节4.1有详细叙述，建议阅读原文。
在[2]中章节4的表述为，现有数据集(大小为N)，需为每一棵树构造一个子数据集。构造方法是随机且有放回的在原数据集中抽取N个数据。由此可知，构造的子集与原数据集大小一致，但内容不同(因其随机抽取)。
该构造方法(即随机且放回的抽取)目的是构造出既与原数据集不相同又能在一定程度上表达该数据集的数据分布，体现了随机森林的随机二字。当森林子树足够多的时候，构造出的所有子集可充分体现原数据集的分布。
2.决策树(CART)
决策树核心思想选取当前最优特征作为划分标准，前面有以香农熵为核心的决策树学习笔记。此篇挑选CART(Classification And Regression Tree)是因为该算法即可用于分类任务(离散型数据)也可用于回归任务(连续型数据)。
(1)分类树
①引用[1]的例子，该例子使用隐形眼镜数据集，共有四维特征年龄、症状、散光及眼泪量和标签(硬材质、软材质及不适合隐形眼镜)。

举个栗子

实现代码

1.分类树sklearn实现版本。[1]

算法分析

1.CART以构建二叉树的方式既能实现分类也能实现回归。
2.随机森林的可解释性低(随机采样)，可读性强(投票)；因其随机有放回的抽取数据，避免过度依赖某一特征，防止过拟合。

资料引用

[1]GitHub：https://github.com/wzy6642/Machine-Learning-in-Action-Python3/tree/master/DecisionTree_Project2
[2]博客园：https://www.cnblogs.com/maybe2030/p/4585705.html
[3]CSDN：https://blog.csdn.net/jiaoyangwm/article/details/81150367
[4]知乎：https://zhuanlan.zhihu.com/p/82054400
此算法笔记会在CSDN、知乎、b站及公众号同步更新，账号名为一枚嘉应子。转载注明出处，侵权必究。