决策树的介绍

1. 原理:

if else 分支语句

2. 信息导论

a. 信息的单位:

比特:

b. 信息熵的计算公式:

H(D) = -(p1logp1 + p2 logp2+ ...) = -log(N)

c. 信息熵的作用:

消除不确定性

e. 特点:

1. 当32球队夺冠的几率是一样的时候,那么信息熵是5,只要概率发生了变化

那么求得的信息熵一定比 5小

5

3. 信息增益:

4

H(什么都不知道信息熵) - H(年龄) = 1

H(什么都不知道信息熵) - H(工作)

H(什么都不知道信息熵) - H(房子)

H(什么都不知道信息熵) - H(信贷)

a. 公式:

g(D,A) = H(D) - H(D/A)

4. demo. 计算银行贷款案例

年龄的信息增益情况:

g(D,年龄) = H(D) - H(D|年龄)

H(D) = -(plogp + p1logp1) = -(3/5*log 3/5 + 2/5 *log 2/5) = 0.971

H(D|年龄) = 1/3*H(D|青年) + 1/3* H(D|中年) + 1/3 * H(D/老年)

H(D|青年) = -(2/5*log 2/5 + 3/5 * log 3/5)

H(D|中年) = -(2/5*log 2/5 + 3/5 * log 3/5)

H(D|老年) = -(1/5*log 1/5 + 4/5 * log 4/5)

5. api接口:

a.接口位置:

from sklearn.tree import DecisionTreeClassifier

b.估计器对象:

def __init__(

max_depth=None,)

max_depth: 树的最大深度

fit()

predict()

score()