【数据挖掘】第四章 分类与预测 4.3决策树分类方法

这节课我们来学习决策树分类方法，决策树模型的基本思想类似于我们生物学中的生物分类图，按照属性的取值进行样本划分，最终形成不同的类别。在大数据分析的过程中，如果想要对调研样本实现这样的分类图谱难不难呢？其实一点也不难，我们可以使用最简单的古典概率模型来设计决策树模型的算法。

本次课的主要内容主要包括以下三点，一，古典概型的基本理论，二，决策树分类预测方法，三，应用实例以及算法的pc3代码实现。

古典概率模型简称为古。古典概型的概率求解公式信息熵和熵的性质日常生活中可以见到很多古典概型的例子，如掷骰子，抛硬币，摸球游戏，买彩票等等，这些古典概型的案例，我们在学习概率论与数理统计这门课时都已经非常熟悉了。古典概型中设样本空间共有 n 个样本点，a 为事件，若 a 中含有 k 个样本点，那么事件 a 发生的概率就是 k 除以 a 。根据古典概型，我们可以进一步提炼信息商的概念。信息系统 x 的商定义为 hx 等于负的 cmmi 等于一到 mpui 乘以 log 以二为底的 pui 其中 pui 等于样本集合 ui 的样本点除以总样本点的个数，因为 pi 在零到一之间，因此 log 以二为底的 pi 是小于零的，因此商的公式前面加了负号，以保证信息商非负。我们举一个例子来说明商的计算，比如有32个足球队比赛，每一个队实力相当，那么每一个队胜出的概率是1/32，如果要猜出哪个足球队胜出，这个猜测事件的信息上是 hx 等于五。试想一下