视频课程

 

分类：目标函数标记为类别性的数据类型

回归：目标函数标记为连续性的数据类型

 

1决策树算法

评估标准：准确率、速度、强壮性、可规模性、可解释性

1/1决策树、判定树（decision tree）：判定树市一个类似于流程图的树结构：其中，每个内部节点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最定点市根节点。

1/2 熵（entropy）

变量的不确定性越大，熵也就越大。

1/3决策树归纳算法

ID3算法：算则属性判断结点

信息获取量：Gain(A) = Info(D)-Infor_A(D)

 

其他算法

C4.5：Quinlan

CART

共同点：都是贪心算法

区别：：属性选择度量方法不同

连续属性变离散

 

树剪枝叶（避免overfitting）

先剪枝

后剪枝

 

决策树的优点：直观、便于理解，小规模数据集有效

缺点：处理连续变量不好；类别较多时，错误增加的比较快，可规模性一般