Python 决策树与贝叶斯相关理论知识和例题

信息有顺序排列，意思明确
信息无序，意思多
描述信息的混乱度用信息熵

ID3算法

将无序的数据变得更加有序。
信息熵计算公式

信息增益：

在决策树中，设D为用类别对训练元组的划分，则D的熵表示为：

训练元组D按照属性A进行划分，则A对D划分的期望信息为：

信息增益为两者的差值：

例题

现有如下表格数据，描述根据天气等情况决定是否出去打羽毛球的记录。

Day	Weather	Temperature	Humidity	Wind	Play?
1	Sunny	Hot	Hight	Weak	No
2	Cloudy	Hot	Hight	Weak	Yes
3	Sunny	Mild	Normal	Strong	Yes
4	Cloudy	Mild	Hight	Strong	Yes
5	Rainy	Mild	Hight	Strong	No
6	Rainy	Cool	Normal	Strong	No
7	Rainy	Mild	Hight	Weak	Yes
8	Sunny	Hot	Hight	Strong	No
9	Cloudy	Hot	Normal	Weak	Yes
10	Rainy	Mild	Hight	Strong	No

设We、T、H、Wi、D表示Weather、Temperature、Humidity、Wind、Play?(是否打羽毛球）。下面计算各属性的信息增益:

D：5个Yes 5个No
集合(1,…,10)的信息熵:
$$info(D)=-\frac{1}{2}lo{g}_2\frac{1}{2}-\frac{1}{2}lo{g}_2\frac{1}{2}=1$$
按照属性We进行划分D，则We对D划分的期望：
Sunny 0.3 ------> 1个Yes 2个No
Cloudy 0.3 ------> 3个Yes
Rainy 0.4 --------> 1个Yes 3个No
$$inf{o}_{W}e(D)=0.3\ast (-\frac{1}{3}lo{g}_2\frac{1}{3}-\frac{2}{3}lo{g}_2\frac{2}{3})+0.3\ast (-1\ast lo{g}_{2}1)+0.4\ast (-\frac{1}{4}lo{g}_2\frac{1}{4}-\frac{3}{4}lo{g}_2\frac{3}{4})=0.6$$
利用python计算结果:

We的信息增益：
$$gain(We)=info(D)-inf{o}_{W}e(D)=1-0.6=0.4$$

同上得到T、H、Wi的信息增益:
$$inf{o}_T(D)=0.4\ast (-4$$