决策树的几个概念:
信息熵:表示信息的不确定程度。值越大,表示信息的不确定程度越大。
条件熵:知道了某种信息之后的不确定程度。
互信息:表示衡量信息相关性的指标。值越大,表示相关性越大。或者叫信息增益。
ID3方法就是通过寻找互信息来构建决策树的。
首先就是寻找互信息最大的那个属性作为根节点,然后一步步的构建决策树。最后的叶子节点表示预测的结果。
决策树的几个概念:
信息熵:表示信息的不确定程度。值越大,表示信息的不确定程度越大。
条件熵:知道了某种信息之后的不确定程度。
互信息:表示衡量信息相关性的指标。值越大,表示相关性越大。或者叫信息增益。
ID3方法就是通过寻找互信息来构建决策树的。
首先就是寻找互信息最大的那个属性作为根节点,然后一步步的构建决策树。最后的叶子节点表示预测的结果。