树模型-孤立森林

树模型

1、决策树 ID3，C4.5，CART

2、随机森林RF

3、Adaboost

4、GBDT

5、XGboost

6、孤立森林（异常检测）

六、孤立森林

​ 孤立森林（Isolation Foreset）是基于树（iTree）集成的快速异常检测方法，其异常检测的核心思想是“异常点是容易被孤立的离群点”。因此，孤立森林采用随机特征随机阈值划分生成多个树，直到树到达一定的高度或者直到每个叶子节点中只有一个点。那么，那些离群点很容易被提前（即所在叶子节点的深度较浅）被划分出来。由于每个树都是由随机采样独立生成的，所以树之间具有一定的独立性，多个树的集成就是最终的孤立森林。

可以看出，按照离群点大概率为异常点的话，那么d最有可能为异常点。

下面简单介绍孤立森林的流程和细节：

​ 1）从训练集中随机选择（有放回和无放回）$n$个样本点构成子集$\Omega_{i},i\in 1,2..m$，在$m$个子集上构建树

​ 2）随机选择一个特征，随机选择一个阈值（最大值与最小值之间）进行二分裂

​ 3）递归2）建树，直到树到达一定的高度$d$或者每个叶子节点中只有一个点。

​ 4）$m$个树建好，根据 m $m$