机器学习—决策树
决策树
树模型
- 决策树:从根节点开始一步步走到叶子节点
- 所有数据最终都落在叶子节点(结果),既可以做分类也可做回归
树的组成
- List item
- 根节点:第一个选择点(从根节点到分支,选择的属性按重要性从高到低fi)
- 非叶子节点和分支:中间过程
- 叶子节点:最终的决策结果
衡量标准—熵
- 公式:H(x)=-Σpi *log pi,i=1,2,3…n
- 熵:不确定性越大,熵值越大,p= 0.5时,H§=1,此时随机变量的不确定性最大。
- 信息增益:表示特征X使得类Y的不确定性减少的程度。
决策树算法三种算法区别
- ID3:信息增益(有什么问题?)
- C4.5:信息增益率(解决ID3问题,考虑自身熵)
- CART:使用GINI系数来做衡量标准
- GINI系数:Gini§=1-Σp²
决策树剪枝策略:预剪枝和后剪枝(决策树过拟合风险大)
- 预剪枝:便建立决策树编辑逆行剪枝操作,限制深度,叶子节点个数,叶子节点样本数,信息增益量等。
- 后剪枝:建立完决策树后进行剪枝操作,通过一定的衡量标准。(通过计算损失函数,叶子节点越多,损失越大)
- 损失函数:C(T)=C(T)+α*|T|;C(T)=样本个数 *GINI系数;T为叶子节点个数。