【数据挖掘笔记九】分类：高级方法

 

9.分类：高级方法

9.1 贝叶斯信念网络

贝叶斯信念网络是一种概率的图模型，不假定类条件独立性，说明联合条件概率分布，允许在变量的子集间定义类条件独立性，提供一种因果关系的图形模型，可以在其上进行学习。

贝叶斯信念网络由两个成分定义，有向无环图和条件概率表的集合。网络变量可以是可观测的，或隐藏在所有或某些训练元组中。隐藏数据的情况也称为缺失值或不完全数据。如果网络拓扑已知并且变量是可观测的，则训练网络是直接的。当网络拓扑给定，而某些变量是隐藏时，可以选择不同的方法来训练信念网络，如梯度下降法。

信念网络是计算密集的。因为信念网络提供了因果结构的显示表示，因此专家可以用网络拓扑和/或条件概率值的形式提供先验知识。

9.2 用后向传播分类

后向传播是一种神经网络学习算法。神经网络的优点包括其对噪声数据的高承受能力，以及它对未经训练的数据的模式分类能力。在缺乏属性与类之间的联系时适用。

后向传播算法在多层前馈神经网络上学习，迭代地学习用于元组类标号预测的一组权重。多层前馈神经网络由一个输入层、一个或多个隐藏层和一个输出层组成。网络的输入对应于每个训练元组的观测属性。

训练之前，要定义神经网络的拓扑结构，包括输入层单元数、隐藏层数、每个隐藏层的单元数和输出层的单元数。

后向传播通过迭代地处理训练元组数据集，把每个元组的网络预测与实际已知的目标值相比较进行学习。目标值可以是训练元组已知类标号或者是连续值，对于每个训练样本，修改权重使得网络预测和实际目标值之间的均方误差最小。

算法整个过程：初始化权重、向前传播输入、向后传播误差、终止迭代。

9.3 支持向量机