机器学习（四）其它技术：决策树，异常检测，PCA

目录

一、 定义和公式

1. 决策树 Desicion Tree

2. 异常检测 Anomaly Detection

3. 主成分分析 PCA

二、 代码实战

1. 决策树：Iris鸢尾花数据分类

2. 异常检测

2.1 可视化高斯分布的概率密度函数

2.2 建立模型，实现异常数据点预测，可视化异常检测处理结果，修改概率分布阈值EllipticEnvelope(contamination=0.1)中的contamination，查看阈值改变对结果的影响

3. 主成分分析PCA：Iris数据集降维后分类 4D->2D

3.1 基于iris_data.csv数据，建立KNN模型实现数据分类（n_neighbors=3）

3.2 对数据进行标准化处理，选取一个维度可视化处理后的效果

3.3 进行与原数据等维度PCA，查看各主成分的方差比例 

​3.4 保留合适的主成分，可视化降维后的数据

 3.5 基于降维后数据建立KNN模型，与原数据表现进行对比

---

一、 定义和公式

1. 决策树 Desicion Tree

决策树：对实例进行分类的树形结构，通过多层判断区分目标所属类别

缺点：忽略属性间的相关性，样本分布不均匀时影响表现

给定训练数据集：

核心：特征选择(每个叶子)应该用哪个特征

三种方法：ID3，C4.5，CART

ID3：用信息熵原理选择信息增益最大的属性作为分类属性，递归的拓展决策树的分支，完成决策树的构造

• 信息熵 Entropy：是度量随机变量不确定性的指标，熵越大，变量不确定性越大

           D：当前样本集合，Pk：第k类样本所占比例，如10个样本，第2类样本为5个，其比例为1/2

        当Pk=1时，即100%比例，无不确定性࿰