决策树中的信息增益和信息论中的互信息关系
信息论中互信息:
I(X;Y)=H(X)-H(X|Y)
决策树中信息增益:
G(D,A)=H(D)-H(D|A)
两者是一回事,含义都是:信息熵意思是确定性程度,当知道特征X后,原数据集确定性程度增大,信息熵减小,减小的多少即信息增益(互信息)。
决策树中的信息增益和信息论中的互信息关系
信息论中互信息:
I(X;Y)=H(X)-H(X|Y)
决策树中信息增益:
G(D,A)=H(D)-H(D|A)
两者是一回事,含义都是:信息熵意思是确定性程度,当知道特征X后,原数据集确定性程度增大,信息熵减小,减小的多少即信息增益(互信息)。
转载于:https://www.cnblogs.com/hrdbupt/p/10173913.html