决策树与随机森林

决策树与随机森林

本篇博客将重新给出对决策树与随机森林的认识。主要分析决策树的学习算法：信息增益和ID3、C4.5、CART树，然后给出随机森林。
决策树中，最重要的问题有3个:
1. 特征选择。即选择哪个特征作为某个节点的分类特征；
2. 特征值的选择。即选择好特征后怎么划分子树；
3. 决策树出现过拟合怎么办？
下面分别就以上问题对决策树给出解释。决策树往往是递归的选择最优特征，并根据该特征对训练数据进行分割。

信息熵

关于信息熵以及最大熵模型的详细信息，请参看该博客。

• 熵：$H(X) = -\sum_{x\in X} p(x)log p(x)$
• 联合熵：$H(X, Y) = -\sum_{x\in X, y\in Y}p(x, y)logp(x, y)$
• 条件熵：$H(X|Y) = -\sum_{x\in X, y\in Y}p(x, y)logp(x|y)$
• 相对熵： D(p||q)=