决策树的基本概念 女孩的相亲对象抉择问题 天气情况对是否打高尔夫 抉择结果: 拆分属性抉择问题 理想情况:在拆分过程中,当叶节点只拥有单一类别时,将不必继续拆分。 目标时寻找较小的数,希望递归过程尽早停止 如果能测量每一节点的纯度,就可以选择能产生最纯子节点的那个属性进行拆分; 决策树算法通常按照纯度的增加来选择拆分属性 熵值的概念 信息增益:对纯度提升的程度 天气属性的信息增益: