gini系数 决策树_贪心学院 机器学习特训营 第四周 决策树与随机森林

决策树

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。

衡量指标：信息熵、gini系数；

信息熵：衡量信息的不确定性或混乱程度的指标，信息不确定性越大，熵越大。（孤立系统的熵增原理）

信息熵

条件熵

信息增益

打高尔夫球的例子分析特别详细，包括决策树应用的整个过程，具体还要看ppt，如下是最终的结果。

随机森林：

Homework：

使用Gini作为指标：

使用Entropy作为指标：

较重要的特征有glucose、bmi、age、pedigree等，glucose、体重指数、年龄与糖尿病的相关性比较符合常识认知。

随机森林的结果，没有调节到可以进一步调高的参数。