机器学习(9)--决策树和随机森林

一、决策树

认识：决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

举例说明：

 案例一：

案例二： 如何去划分是否能得到贷款？

案例三：

 

用信息论讨论，信息的单位是比特

信息熵

开放信息和不开放任何信息，概率不同，得到信息的代价小一些，信息熵就是一种代价

因为信息不能为负，所以计算往往要加负号

 “谁是世界杯冠军”的信息量应该比5比特少。

香农指出，它的准确信息量应该是： H = -(p1logp1 + p2logp2 + ... + p32log32)