Web前端最全决策树的基本原理--学习于实验楼(3)，学前端程序开发

本文链接：https://blog.csdn.net/2401_84433807/article/details/138590575

跳槽是每个人的职业生涯中都要经历的过程，不论你是搜索到的这篇文章还是无意中浏览到的这篇文章，希望你没有白白浪费停留在这里的时间，能给你接下来或者以后的笔试面试带来一些帮助。

也许是互联网未来10年中最好的一年。WINTER IS COMING。但是如果你不真正的自己去尝试尝试，你永远不知道市面上的行情如何。这次找工作下来，我自身感觉市场并没有那么可怕，也拿到了几个大厂的offer。在此进行一个总结，给自己，也希望能帮助到需要的同学。

面试准备

开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】

面试准备根据每个人掌握的知识不同，准备的时间也不一样。现在对于前端岗位，以前也许不是很重视算法这块，但是现在很多公司也都会考。建议大家平时有空的时候多刷刷leetcode。算法的准备时间比较长，是一个长期的过程。需要在掌握了大部分前端基础知识的情况下，再有针对性的去复习算法。面试的时候算法能做出来肯定加分，但做不出来也不会一票否决，面试官也会给你提供一些思路。

通常我们在选择特征的时, 会考虑到两种不同的指标，分别为：信息增益和信息增益比。这里就要谈到信息论中的另一个常见的名词:熵。

熵（Entropy）是表示随机变量不确定性的度量。简单来说：熵越大，随机变量的不确定性就越大，而特征A对于某一训练集D的信息增益g(D,A)定义为集合D的熵H(D)与特征A在给定条件下D的熵的（H|A）之差。

g(D,A)=H(D)-H(D|A)

简单来讲，每一个特征针对训练数据集的前后信息变化的影响是不一样的，信息增益越大，即代表这种影响越大，而影响越大，就表明该特征更加重要。

生成算法

决策树的生成算法最经典的就数 John Ross Quinlan 提出的 ID3 算法，这个算法的核心理论即源于上面提到的信息增益。

ID3 算法通过递归的方式建立决策树。建立时，从根节点开始，对节点计算每个独立特征的信息增益，选择信息增益最大的特征作为节点特征。接下来，对该特征施加判断条件，建立子节点。然后针对子节点再此使用信息增益进行判断，直到所有特征的信息增益很小或者没有特征时结束，这样就逐步建立一颗完整的决策树。

除了从信息增益演化而来的 ID3 算法，还有一种常见的算法叫 C4.5。C4.5 算法同样由 John Ross Quinlan 发明，但它使用了信息增益比来选择特征，这被看成是 ID3 算法的一种改进。

ID3 和 C4.5 算法简单高效，但是他俩均存在一个缺点，那就是用 “完美去造就了另一个不完美”。这两个算法从信息增益和信息增益比开始，对整个训练集进行的分类，拟合出来的模型针对该训练集的确是非常完美的。但是，这种完美就使得整体模型的复杂度较高，而对其他数据集的预测能力就降低了，也就是我们常说的过拟合而使得模型的泛化能力变弱。

当然，过拟合的问题也是可以解决的，那就是对决策树进行修剪。