1.学习记录
1.1 决策树是基于树结构来进行决策的,通常一棵决策树包含1个根节点,若干个内部节点和若干个叶节点。基本策略是“分而治之”。
1.2 决策树学习的关键是如何选择最优划分属性,常用指标有:“信息增益”,“增益率”,“基尼指数”等,也可以联合使用。
1.3 “预剪枝”和“后剪枝”等剪枝处理会提高决策树的泛化能力,减低欠拟合程度。
1.4 连续值可以通过“选取划分点集合”等方式将连续属性离散化。
2.疑惑存留
2.1 对缺失值进行处理时,相关的技术操作和符号公式推导。
3.自己的理解
3.1 多变量决策是将叶结点进行变换,如:属性的线性组合、嵌入(多层)神经网络等方式提高学习效果。