常见机器学习算法简述及其优缺点

以此作第一篇吧。。

一、The k-means algorithm 即K-Means算法

k-meansalgorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割(k< n)。

它与处理混合正态分布的最大期望算法(本十大算法第五条)很相似，因为他们都试图找到数据中自然聚类的中心。

它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。

优点：容易实现。

缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢。

二、 Support vectormachines

支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。

在分开数据的超平面的两边建有两个互相平行的超平面，分隔超平面使两个平行超平面的距离最大化。

假定平行超平面间的距离或差距越大，分类器的总误差越小。

优点：泛化错误率低，计算开销不大，结果易解释

缺点：对参数调节和核函数的选择敏感

三、最大期望(EM)算法

 在统计计算中，最大期望 （EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（DataClustering）领域。

四、AdaBoost

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，

然后把这些弱分类器集合起来，构成一个更强的最终分类器 (强分类器)。

其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。

将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器融合起来，作为最后的决策分类器。

优点：泛化错误率低，易编码，可以应用在大部分分类器上，无参数调整

缺点：对离群点敏感

五、kNN: k-nearestneighbor classification

K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似，即特征空间中最邻近的样本中的大多数属于某一个类别，则该样本也属于这个类别。

1、计算已知类别数据集中的点与当前点之间的距离

2、对距离递增排序，选择距当前点最小的k个点

3、确定前k个点所在类别出现的频率

4返回出现频率最高的类别作为当前点的预测分类

优点：精度高，对异常值不敏感，无数据输入假定

缺点：计算复杂度高、空间复杂度高

六、决策树(Decision Tree)

方法：根据信息增益最大原则，找到决定性特征，划分数据集，直到所有子集属于同一类型，否则递归划分。

创建分支函数createBranch()的伪代码如下：

检测数据集中的每个子项是否属于同一分类：

    If so return 类标签；

Else

   寻找划分数据集的最好特征

       划分数据集

       创建分支节点

            For 每个划分的子集

                调用函数createBranch并增加返回结果到分支节点中

        Return 分支节点

优：计算复杂度不高，输出结果容易理解，对中间值的缺失不敏感，可处理不相关特征数据

缺：可能产生过度匹配

七Naive Bayes

在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive BayesianModel，NBC）。 朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。

理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。

优点：数据较少情况下仍然有效，可处理多类别问题

缺点：对于输入数据的准备方式较敏感

八、Logistic 回归

最优化算法。LR的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。训练分类器时的做法是寻找最佳拟合参数。

优点：计算代价不高，易于理解和实现

缺点：容易欠拟合，分类精度可能不高