决策树与随机森林

决策树模型

简介

决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。决策树的学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。决策树算法：ID3（利用信息增益对特征做选择）,C4.5（利用信息增益率对特征做选择）,CART（CART生成与CART剪枝）

ID3算法

ID3算法的特征选择与信息增益

特征选择在于选取对训练数据具有分类能力的特征，这样可以提高决策树的学习效率。特征选择是决定哪个特征来划分特征空间。

熵是度量了事物的不确定性，越不确定的事物熵就越高。越确定的事物概率也就越高，所以熵是和概率成反比，又要变成加法的形式，所以就在$p_{(}x)$前加log并取负，就变成了信息量，再对信息量关于$p_{(}x)$求期望,即为熵的表达式（我的理解是熵是各个权重信息量的和，权重即为他的概率表示在整体中的比例）。
表达式如下：$$H(X)=-\sum _{i=1}^n{p}_{i}log{p}_i$$
熵越大，随机变量的不确定性因素就越大。$$0<=H_{(}p)<lo{g}_{(}p)$$

一个变量X的熵，很容易推广到多个个变量的联合熵，这里给出两个变量X和Y的联合熵表达式：$$H(X,Y)=-\sum _{i=1}^{n}p(x_i,y_i)lo$$