决策树cart

---

引：决策树是一种基本的分类和回归算法，思想非常简单，给出一个总体衡量复杂度的公式，然后在使用贪心算法，用局部最优来近似总体最优，并设置终止条件，最后通过剪枝避免过拟合。优点是模型具有可读性，分类速度快(二叉树)。

基本概念

熵(entropy)和基尼指数(Gini index)都是表示随机变量不确定性的度量（针对离散情况，因此是用于分类问题的度量）

熵(entropy)

设X是一个取有限个值的离散随机变量，其概率分布为

$p(X=x_i)=p_i$,i=1,2, … ,n

随机变量X的熵定义为：
H(X)=$-{\sum }_{i=1}^n{p}_{i}log(p_i)$（以e或2为底）

熵越大，随机变量的不确定性越大

当$p_i$趋近于0和趋近于1时,$p_{i}log(p_i)$趋近于0，说明这一项不能给变量增加不确定性，从定义可证
0$\le$ H(x) $\le$ logn (取$p_i=\frac{1}{n}$,$-{\sum }_{i=1}^{n}1/nlog(1/n)=logn$)

---

设有随机变量(X,Y),其联合概率分布为

p ( X = x i ， Y = y i ) = p i j p(X=x_i，Y=y_i)=p_{ij}