数据挖掘之分类算法

分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。

单一的分类方法主要包括：决策树、贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类等；

还有用于单一分类方法的集成学习算法，如Bagging和Boosting等。

(1)决策树

主要用于分类和预测的技术之一，是以实例为基础的归纳学习算法，从一组无次序、无规则的实例中推理出决策树表示的分类规则。目的是找出属性和类别间的关系，用它来预测将来未知类别记录的类别，自顶向下，从根节点开始层层比较，在叶节点得到结论。

主要的决策树算法有ID3、C4.5(C5.0)、CART、PUBLIC、SLIQ和SPRINT算法等。他们在选择测试属性采用的技术、生成的决策树的结构、剪枝的方法以及时刻，能否处理大数据集等方面都有各自的不同之处。

(2)人工神经网络

神经网络通常需要进行训练，训练的过程就是网络进行学习的过程。训练改变了网络节点的连接权重使其具有分类的功能，经过训练的网络就可以用于对象的识别。

神经网络已有上百种不同的模型，常见的有BP网络、径向基ERBF网络、Hopfield网络、随机神经网络、竞争神经网络等，但是当前的神经网络仍普遍存在收敛速度慢，计算量大、训练时间长和不可解释等缺点。

(3)支持向量机

支持向量机特点是根据结构风险最小化准则，以最大化分类间隔构造分类超平面来提高学习机的而泛化能力，较好的解决线性、高维数、局部极小点等问题。对于分类问题，支持向量机算法根据区域中的样本计算改区域的决策曲面，由此确定该区域中未知样本的类别。