信息熵辨析和决策树CART
信息熵和cart树
信息I,是发生概率的函数,我们先验地希望独立事件具备:
I(A,B)=I(A)+I(B)I(A,B)=I(A)+I(B)I(A,B)=I(A)+I(B)
P(A,B)=P(A)∗P(B)P(A,B)=P(A)*P(B)P(A,B)=P(A)∗P(B)
即满足非负和可加,故定义I(W)=−log(P(W))I(W)=-log(P(W))I(W)=−log(P(W))
熵E,信息的期望
H(w)=P∗I=−P∗log(P)=−∑iP(xi)∗log(P(xi))H(w)=P*I=-P*
原创
2022-05-13 20:18:43 ·
113 阅读 ·
0 评论