常用算法简介

算法简介摘录

1.聚类算法

(1) K均值聚类算法

    K 均值聚类算法又称为K-means 聚类，是聚类算法中最简单的一种了。聚类的样本中仅仅只有特征，但没有类别标签，K-means 聚类算法就是要将样本聚类成几个簇。它首先要初始化一组聚类中心，对于每一个样例，计算其应该属于的类，对于每一个类，重新计算新的聚类中心，不断迭代这个过程，直到新的聚类中心和上一代的聚类中心的差小于一个很小的正数，或者是达到迭代次数，就迭代停止，此时得到的就是最好的聚类结果。由于K-means 聚类算法的性能与给定的初始类别数和初始的类别中心有关，而初始化一般都是随机的，所以其分类结果往往不稳定。K-means 聚类算法的优点是原理简单，不需要进行参数调节，在人工数据集和真实数据集都有较好的效果，在实际中得到了广泛的使用。

(2) 迭代自组织数据分析算法

    迭代自组织数据分析算法(iterative self-organizing data analysis techniques algorithm，ISODATA)算法[，也称为 ISODATA算法，和k-means算法相似，也是一种无监督的聚类算法。不同的是，它引入了人工的干预，对聚类后的结果进行“合并”和“分裂”两个操作，而且设置了算法运行时的控制参数。首先初始化样本聚类中心，当聚类结果某一类中样本数太少，或两个类间的距离小于预先设定的阈值时，进行合并。当聚类结果某一类中样本某个特征类内方差大于了预先设定的阈值，就将该类进行分裂。不断重复迭代步骤，直到达到预定的结束条件，就停止迭代。 ISODATA算法具有自动调节最优类别数目的能力，而且最后的分类结果与初始化的好坏无关，算法规则明确，便于计算机实现，缺点就是迭代次数过多，比较费时，总体来说它是一种实用性很高的算法。

(3) 最大似然算法

    最大似然算法是基于贝叶斯分类准则的一种分类方法，也叫作贝叶斯分类法。这个算法的基本思想是根据训练样本构造出各类的多维正态分布模型，然后对于测试样本的数据向量通过贝叶斯公式计算它属于各个类别的概率，最后将样本点归类于概率最大的那一类。最大似然算法有严格的数学基础，很容易建立判别函数，且判别函数有很强的统计特性，所以最大似然算法是一种很常见也很有效的分类方法。