数据分析——数据挖掘算法(决策树）

一、决策树（decision tree）

损失函数	正则化的极大似然函数
学习策略	以损失函数为目标函数的最小化
学习算法	三步过程：特征选择、决策树的生成、决策树的剪枝
常用算法	ID3、C4.5、CART
特征选择	选取具有更好分类能力的特征来划分特征空间
	特征选择的准则：信息增益，或信息增益比

根据一些特点进行分类，每个结点提一个问题，通过判断，将数据分为两类，再继续提问。这些数据是根据已有数据学习出来的，再投入到新数据的时候，就可以将这棵树上的问题，将数据划分到合适的叶子上。

• 根节点（root node），它没有入边，但又零条或多条出边。
• 内部结点（internal node），恰有一条入边，和两条或多条出边。
• 叶节点（left node）或终结点（terminal node），恰有一条入边，没有出边。

决策树通常有三个步骤：特征选择、决策树的生成、决策树的修剪。

决策树的特点：

• 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。
• 缺点：可能会产生过度匹配的问题
• 适用数据类型：数值型和标称型