决策树

决策树：判别模型

学习策略：正则化的极大似然估计

学习的损失函数：对数似然损失

学习算法：特征选择，生成，剪枝

决策树的损失函数定义：

其中|T|为树T的叶节点个数，t是数T的叶节点，该叶节点上有Nt个样本，其中k类的样本有Ntk个。Ht(T)就是叶节点t上的经验熵：

剪枝的总体思路如下：

1.由完全树T0开始，剪枝部分结点得到T1，再次剪枝部分结点得到T2，直到剪枝到仅剩下树根的那棵树Tk。当然这些树都要保留{T1,T2,....,Tk}；

2.接着通过交叉验证法在验证数据集上对这k棵树分别进行测试评价，选择损失函数最小的数Tα作为最优子树。