1. 原理:
if else 分支语句
2. 信息导论
a. 信息的单位:
比特:
b. 信息熵的计算公式:
H(D) = -(p1logp1 + p2 logp2+ ...) = -log(N)
c. 信息熵的作用:
消除不确定性
e. 特点:
1. 当32球队夺冠的几率是一样的时候,那么信息熵是5,只要概率发生了变化
那么求得的信息熵一定比 5小
5
3. 信息增益:
4
H(什么都不知道信息熵) - H(年龄) = 1
H(什么都不知道信息熵) - H(工作)
H(什么都不知道信息熵) - H(房子)
H(什么都不知道信息熵) - H(信贷)
a. 公式:
g(D,A) = H(D) - H(D/A)
4. demo. 计算银行贷款案例
年龄的信息增益情况:
g(D,年龄) = H(D) - H(D|年龄)
H(D) = -(plogp + p1logp1) = -(3/5*log 3/5 + 2/5 *log 2/5) = 0.971
H(D|年龄) = 1/3*H(D|青年) + 1/3* H(D|中年) + 1/3 * H(D/老年)
H(D|青年) = -(2/5*log 2/5 + 3/5 * log 3/5)
H(D|中年) = -(2/5*log 2/5 + 3/5 * log 3/5)
H(D|老年) = -(1/5*log 1/5 + 4/5 * log 4/5)
5. api接口:
a.接口位置:
from sklearn.tree import DecisionTreeClassifier
b.估计器对象:
def __init__(
max_depth=None,)
max_depth: 树的最大深度
fit()
predict()
score()