决策树
决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。
![8c104204d6a04cbb733180a8fef57013.png](https://i-blog.csdnimg.cn/blog_migrate/1d726e25648dbcc6861a0b5f800b7bec.jpeg)
衡量指标:信息熵、gini系数;
信息熵:衡量信息的不确定性或混乱程度的指标,信息不确定性越大,熵越大。(孤立系统的熵增原理)
信息熵
条件熵
信息增益
![e0d4104a14d90c32639f746887565a4e.png](https://i-blog.csdnimg.cn/blog_migrate/9b79284bd9c1571bc6de5e819fc5e5c5.jpeg)
![d0e62955e20f7edb4802459f9c39845d.png](https://i-blog.csdnimg.cn/blog_migrate/f0569adc4069e9a25f23e5510d985622.jpeg)
![e9eeb04d0b40d9b2b40dfeb6e3ed1ec0.png](https://i-blog.csdnimg.cn/blog_migrate/e701762d44fa091c64dc2d25605a3c16.jpeg)
![b4821597782cd353889569e2c9ecabd8.png](https://i-blog.csdnimg.cn/blog_migrate/1479ef2fee611483d088bfa39aaed5dc.jpeg)
![a5d5c88aa134f6875a139fc9b259ab3f.png](https://i-blog.csdnimg.cn/blog_migrate/b388e52bfd31d70f24e335da2ff2c3ee.jpeg)
![32e0bdf68c021e2d560c50e76158c8a2.png](https://i-blog.csdnimg.cn/blog_migrate/207ce4eacfe2a55578cd55206859bd97.jpeg)
![ccbf9f8d8606eae3bce67e8810717e70.png](https://i-blog.csdnimg.cn/blog_migrate/64c04956c077089079f5f95d415e9b8f.jpeg)
打高尔夫球的例子分析特别详细,包括决策树应用的整个过程,具体还要看ppt,如下是最终的结果。
![cc6e681a94e0ff13afa78031a777df99.png](https://i-blog.csdnimg.cn/blog_migrate/6d4534af87caa80190bcd418a9ba15a6.jpeg)
![eb6b03e71c65f0ded1f75607a4a35fef.png](https://i-blog.csdnimg.cn/blog_migrate/a45f80e7ee7fa4430439136cbba45f9e.jpeg)
随机森林:
![c616b0e03e9e5d37ac68d248ac555d2f.png](https://i-blog.csdnimg.cn/blog_migrate/0699624f0ef73f1f69670e4233fc10a0.jpeg)
![469b892d34ae17357ed9e0d5720fb3c1.png](https://i-blog.csdnimg.cn/blog_migrate/0cb1b1c2ddd423cd76c7c8e17fadffb5.jpeg)
Homework:
使用Gini作为指标:
![4301182873152d798b8604bbaaeb8bee.png](https://i-blog.csdnimg.cn/blog_migrate/1a18ad6a50352ef42f407495cf11819b.jpeg)
使用Entropy作为指标:
![496d3a4ba4048bd77163573db0da20a9.png](https://i-blog.csdnimg.cn/blog_migrate/4becdf6321d39436276bd3aa4ed98985.jpeg)
![845925411d4b26a082ed8cb40f407452.png](https://i-blog.csdnimg.cn/blog_migrate/49426d504b7f9fdc3192e3485bd89e4f.jpeg)
较重要的特征有glucose、bmi、age、pedigree等,glucose、体重指数、年龄与糖尿病的相关性比较符合常识认知。
随机森林的结果,没有调节到可以进一步调高的参数。
![d78e128d7c967ae4e58822079108ebe2.png](https://i-blog.csdnimg.cn/blog_migrate/780f260600de624f8b82a1f4248c395f.jpeg)