人工智能与数据挖掘复习

一、简答题

1、什么是决策树？

答：决策树是一种分类与回归方法，主要用于分类，决策树模型呈现树形结构，是基于输入特征对实例进行分类的模型。

2、什么是决策表的约简？

答：为了从决策表中抽取得到适应度大的规则，我们需要对决策表进行约简,使得经过约简处理的决策表中的一个记录就代表一.类具有相同规律特性的样本，这样得到的决策规则就具有较高的适应性。

3、简述BP算法的基本思想。

答：1）BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。
2）正向传播时，输入样本从输入层传人，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出不符，则转入误差的反向传播阶段。3）误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。
4）这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。

4、简述AdaBoost算法。

答：1）Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。
2）算法概述
①先通过对N个训练样本的学习得到第一个弱分类器；
②将分错的样本和其他的新数据一起构成一个新的N个的训练样本，通过对这个样本的学习得到第二个弱分类器；
③将1和2都分错了的样本加上其他的新样本构成另一个新的N个的训练样本，通过对这个样本的学习得到第三个弱分类器；
④最终经过提升的强分类器。即某个数据被分为哪一类要由各分类器权值决定。

二、综合题

1、设训练例子集如表所示，请用ID3算法完成其学习过程。

初始化样本集S={S1,S2,…,S6}和属性集X={x1,x2}.
设根节点为(S,X),尽管它包含了所有的训练例子，但却没有包含任何分类信息，因此
具有最大的信息熵。即:
E(S,X)=-Ps(+)log Ps(+)- Ps(-)log Ps(-)
式中
Ps(+)=3/6, Ps(-)=3/6， log2(3/6)=-1
即有
E(S,X)=