机器学习课程第四章学习总结
在机器学习课程第四章中,Up主深入探讨了决策树的算法原理。本节课的内容主要包括了自信息、信息熵等决策树基本概念,以及三种决策树:ID3决策树、C4.5决策树和CART决策树,为我们提供了对决策树算法的全面理解。
一、决策树引入
决策树是一种直观运用概率分析的图解法,这种方法的基础是决策分支画成图形很像一棵树的枝干,因此称为决策树。
决策树是在已知各种情况发生概率的基础上,通过构成决策树来求取期望值大于等于零的概率,从而判断其可行性的决策分析方法。在机器学习中,决策树是一个预测模型,它代表的是对象属性与对象值之间的一种映射关系。Up主分别从逻辑和几何的角度,简明的阐述了决策树的算法原理,其最终目标是将样本“提纯”。
二、决策树基本概念
ID3决策树、C4.5决策树和CART决策树涉及到熵的度量概念,这一度量概念是从信息学理论中引入的,而信息熵正是衡量样本纯度的重要工具。在机器学习中,信息熵用于描述一个样本集合的不确定性和混乱程度。对于一个样本集合,如果其中所有的样本都属于同一类别,那么这个样本集合的信息熵为最小值;反之,如果样本集合中的样本类别分布均匀,则信息熵为最大值。在后续决策树算法中,信息熵可以用于确定每个节点处进行分裂的依据,即选择哪个特征进行分裂能够最大程度地降低信息熵。
单一使用信息熵衡量标准可能由于样本数不同而产生数据偏见,不利于我们做出正确的决策。因此引入了固有值这一概念以及启发式方法,有效的平衡了样本数不同对决策造成的不利影响。
此外,在CART决策树中还引入了基尼值这一概念,其从另一个角度描述一个样本集合的不确定性和混乱程度。基尼值越小,数据的纯度越高,特征越好。
三、ID3决策树
ID3算法基于信息增益来选择分裂特征,即在每个节点处选择能够最大程度降低信息熵的特征进行分裂。ID3算法通过递归地构建决策树来对训练数据进行分类或回归预测。ID3算法的优点是简单易懂,但其缺点是对于某些数据集可能存在过拟合问题,即上述提到的数据偏见问题。
四、C4.5决策树
C4.5算法可以看作ID3算法的改进版。与ID3算法相比,C4.5算法引入了增益率的概念,用增益率代替了信息增益,其综合考虑信息增益和分裂特征的不确定性来选择分裂特征,因此,C4.5算法对于复杂数据集具有较强的鲁棒性,但其有计算复杂度较高的缺点。
五、CART决策树
CART(Classification and Regression Trees)决策树是一种常用的分类和回归模型,通过递归地构建二叉树来对数据进行分类或回归预测,通过选择能够最大程度降低基尼指数的特征进行分裂,以达到最佳的分类或回归效果。其优点是简单易懂、易于实现且具有良好的鲁棒性,但其缺点是可能对于某些数据集会存在过拟合问题。
六、总结
总的来说,第四章的内容为我们提供了对决策树算法的深入理解。通过学习上述内容,我们可以更好地掌握决策树算法的原理和应用。同时,这些内容也为我们提供了进一步探索机器学习领域的机会和动力。在未来的学习和实践中,我们可以进一步应用这些知识来解决实际问题,并提高机器学习的性能和准确性。通过应用决策树算法,我们可以更好地理解和分析数据,从而做出更准确的预测和决策。此外,决策树算法还可以与其他机器学习算法相结合,以实现更复杂的数据分析和预测任务。
最后,附上视频链接:https://www.bilibili.com/video/BV1Mh411e7VU?p=7
七、参考文献
[1] Quinlan, J. R. (1986). Induction of Decision Trees. Machine Learning, 1(1), 81-106.
[2] Quinlan, J. R. (1993). C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers Inc.
[3] Breiman, L., Friedman, J., Stone, C. J., & Olshen, R. A. (1984). Classification and Regression Trees (CART). Wadsworth, Inc.
[4] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016.
[5] 二次元的Datawhale. 第4章-决策树[EB/OL]. (2021-06-06)[2023-12-19]. https://www.bilibili.com/video/BV1Mh411e7VU?p=7.