机器学习面试准备之三、决策树与随机森林

机器学习面试准备之三、决策树与随机森林

一、决策树阐述

决策树是一种基本的分类与回归方法，学习通常包含三个步骤：特征选择、决策树的生成和决策树的剪枝。

决策树由结点和有向边组成，结点包括内部结点和叶节点，内部结点表示一个特征或属性，叶节点表示一个类。

决策树学习本质是从训练数据集中归纳出一组分类规则；决策树学习的损失函数通常是正则化的极大似然函数，学习策略是由训练数据集估计条件概率模型。

决策树学习的算法通常是一个递归地选择最优特征，并根据该特征进行分割。这一过程对应着决策树的构建，也对应着特征空间的划分。使得划分之后的各个子集能够被基本分类，那么构建叶节点；否则继续递归划分。

决策树可能发生过拟合，因此需要剪枝，从下而上进行，减去过于细分的结点，使其会退到父结点。

二、特征选择

通常特征选择的准则是信息增益或信息增益比。我们选择信息增益最大的那个分割。

2.1熵（entropy）

在信息论和概率统计中，熵是表示随机变量不确定性的度量。熵越大，随机变量的不确定性就越大。

设X是一个取有限个值的离散随机变量，其概率分布为：P(X=xi) = pi , i=1,2…n

则随机变量X的熵的定义为：

2.2条件熵