机器学习中的树模型上——单模型类树

机器学习中树模型是一个庞大的群体，可以用来做分类也可以用来做回归。

决策树模型主要的优点是模型具有可读性，分类速度快，最主要的缺点是过拟合严重。

决策树模型训练通常分三步：特征选择、决策树的生成、决策树的减枝。学习时利用训练数据，根据损失函数最小（通常是正则化的极大似然函数）的原则建立决策树模型。预测时，利用训练好的决策树模型进行预测。

特征选择过程（决定用哪个特征来划分特征空间）：信息增益、信息增益比、基尼指数。