机器学习决策树

决策树

树模型

• 决策树：从根节点开始一步步走到叶子节点
• 所有数据最终都落在叶子节点(结果)，既可以做分类也可做回归

树的组成

• List item
• 根节点：第一个选择点（从根节点到分支，选择的属性按重要性从高到低fi）
• 非叶子节点和分支：中间过程
• 叶子节点：最终的决策结果

衡量标准—熵

• 公式：H（x）=-Σpi *log pi,i=1,2,3…n
• 熵：不确定性越大，熵值越大,p= 0.5时，H§=1，此时随机变量的不确定性最大。
• 信息增益：表示特征X使得类Y的不确定性减少的程度。

决策树算法三种算法区别

• ID3:信息增益（有什么问题？）
• C4.5：信息增益率（解决ID3问题，考虑自身熵）
• CART：使用GINI系数来做衡量标准
• GINI系数：Gini§=1-Σp²

决策树剪枝策略：预剪枝和后剪枝（决策树过拟合风险大）

• 预剪枝：便建立决策树编辑逆行剪枝操作，限制深度，叶子节点个数，叶子节点样本数，信息增益量等。
• 后剪枝：建立完决策树后进行剪枝操作,通过一定的衡量标准。（通过计算损失函数，叶子节点越多，损失越大）
• 损失函数：C(T)=C(T)+α*|T|；C（T）=样本个数 *GINI系数；T为叶子节点个数。

决策树参数

DecisionTree决策树大全

监督学习和无监督学习区别