算法的优缺点_一文总结机器学习各算法优缺点

机器学习

来源：数据派THU、七月在线

整理：Datawhale

目录

• 正则化算法(Regularization Algorithms)
• 集成算法(Ensemble Algorithms)
• 决策树算法(Decision Tree Algorithm)
• 回归(Regression)
• 人工神经网络(Artificial Neural Network)
• 深度学习(Deep Learning)
• 支持向量机(Support Vector Machine)
• 降维算法(Dimensionality Reduction Algorithms)
• 聚类算法(Clustering Algorithms)
• 基于实例的算法(Instance-based Algorithms)
• 贝叶斯算法(Bayesian Algorithms)
• 关联规则学习算法(Association Rule Learning Algorithms)
• 图模型(Graphical Models)

正则化算法(Regularization Algorithms)

它是另一种方法(通常是回归方法)的拓展，这种方法会基于模型复杂性对其进行惩罚，它喜欢相对简单能够更好的泛化的模型。

例子：

• 岭回归(Ridge Regression)
• 最小绝对收缩与选择算子(LASSO)
• GLASSO
• 弹性网络(Elastic Net)
• 最小角回归(Least-Angle Regression)

优点：

• 其惩罚会减少过拟合
• 总会有解决方法

缺点：

• 惩罚会造成欠拟合
• 很难校准

集成算法(Ensemble algorithms)

集成方法是由多个较弱的模型集成模型组，其中的模型可以单独进行训练，并且它们的预测能以某种方式结合起来去做出一个总体预测。

该算法主要的问题是要找出哪些较弱的模型可以结合起来，以及结合的方法。这是一个非常强大的技术集，因此广受欢迎。

• Boosting
• Bootstrapped Aggregation(Bagging)
• AdaBoost
• 层叠泛化(Stacked Generalization)(blending)
• 梯度推进机(Gradient Boosting Machines，GBM)
• 梯度提升回归树(Gradient Boosted Regression Trees，