常用分类算法的优缺点

1. Bayes 贝叶斯分类法

1.1. 优点

1 ）所需估计的参数少，对于缺失数据不敏感。

2 ）有着坚实的数学基础，以及稳 定的分类效率。

1.2. 缺点

1 ）需要假设属性之间相互独立，这往往并不成立。（喜欢吃番茄、鸡蛋，却不 喜欢吃番茄炒蛋）。

2 ）需要知道先验概率。

3 ）分类决策存在错误率。

2. Decision Tree决策树

2.1. 优点

1 ）不需要任何领域知识或参数假设。

2 ）适合高维数据。

3 ）简单易于理解。

4 ）短时间内处理大量数据，得到 可行且效果较好的结果。

5 ）能够同时处理数据型和常规性 属性。

2.2. 缺点

1 ）对于各类别样本数量不一致数据，信 息增益偏向于那些具有更多数值的特 征。

2 ）易于过拟合。

3 ）忽略属性之间的相关性。

4 ）不支持在线学习。

3. SVM支持向量机

3.1. 优点

1 ）可以解决小样本下机器学习的问题。

2 ）提高泛化性能。

3 ）可以解决高维、非线性问题。 超高维文本分类仍受欢迎。

4 ）避免神经网络结构选择和局部 极小的问题。

3.2. 缺点

1 ）对缺失数据敏感。

2 ）内存消耗大，难以解释。

3 ）运行和调参略烦人。

4. KNN K近邻

4.1. 优点

1 ）思想简单，理论成熟，既可以用来做分类也可以用来做回归；

2 ）可用于非线性分类；

3 ）训练时间复杂度为 O(n) ；

4 ）准确度高，对数据没有假设， 对 outlier 不敏感；

4.2. 缺点

1 ）计算量太大。

2 ）对于样本分类不均衡的问题，会产生误判。

3 ）需要大量的内存。

4 ）输出的可解释性不强。

5. Logistic Regression逻辑回归

5.1. 优点

1 ）速度快。

2 ）简单易于理解，直接看到各个特征的权重。

3 ）能容易地更新模型吸收新的数 据。

4 ）如果想要一个概率框架，动态调整分类阀值。

5.2. 缺点

特征处理复杂。需要归一化和较多的特 征工程。

6. Neural Network 神经网络

6.1. 优点

1 ）分类准确率高。

2 ）并行处理能力强。

3 ）分布式存储和学习能力强。

4 ）鲁棒性较强，不易受噪声影响。

6.2. 缺点

1 ）需要大量参数（网络拓扑、阀值、阈值）。

2 ）结果难以解释。

3 ）训练时间过长。

 

7. Adaboosting

7.1. 优点

1 ） adaboost 是一种有很高精度的分类器。

2 ）可以使用各种方法构建子分类 器， Adaboost 算法提供的是框 架。

3 ）当使用简单分类器时，计算出 的结果是可以理解的。而且弱分类 器构造极其简单。

4 ）简单，不用做特征筛选。

5 ）不用担心 overfifitting 。

7.2. 缺点

对 outlier 比较敏感

参考文献

深度学习500问