分类:目标函数标记为类别性的数据类型
回归:目标函数标记为连续性的数据类型
1决策树算法
评估标准:准确率、速度、强壮性、可规模性、可解释性
1/1决策树、判定树(decision tree):判定树市一个类似于流程图的树结构:其中,每个内部节点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或类分布。树的最定点市根节点。
1/2 熵(entropy)
变量的不确定性越大,熵也就越大。
1/3决策树归纳算法
ID3算法:算则属性判断结点
信息获取量:Gain(A) = Info(D)-Infor_A(D)
其他算法
C4.5:Quinlan
CART
共同点:都是贪心算法
区别::属性选择度量方法不同
连续属性变离散
树剪枝叶(避免overfitting)
先剪枝
后剪枝
决策树的优点:直观、便于理解,小规模数据集有效
缺点:处理连续变量不好;类别较多时,错误增加的比较快,可规模性一般