机器学习
来源:数据派THU、七月在线
整理:Datawhale
目录
- 正则化算法(Regularization Algorithms)
- 集成算法(Ensemble Algorithms)
- 决策树算法(Decision Tree Algorithm)
- 回归(Regression)
- 人工神经网络(Artificial Neural Network)
- 深度学习(Deep Learning)
- 支持向量机(Support Vector Machine)
- 降维算法(Dimensionality Reduction Algorithms)
- 聚类算法(Clustering Algorithms)
- 基于实例的算法(Instance-based Algorithms)
- 贝叶斯算法(Bayesian Algorithms)
- 关联规则学习算法(Association Rule Learning Algorithms)
- 图模型(Graphical Models)
![ef7f4af5be7552f6bed055b88ce44c71.png](https://i-blog.csdnimg.cn/blog_migrate/68246ba0bb74dc746842ecf843138ff0.jpeg)
正则化算法(Regularization Algorithms)
![5a39dcbd7b1e3aa8a86891277584dbdb.png](https://i-blog.csdnimg.cn/blog_migrate/3621c689c42a6909f0cde2ac641f3fdb.jpeg)
它是另一种方法(通常是回归方法)的拓展,这种方法会基于模型复杂性对其进行惩罚,它喜欢相对简单能够更好的泛化的模型。
例子:
- 岭回归(Ridge Regression)
- 最小绝对收缩与选择算子(LASSO)
- GLASSO
- 弹性网络(Elastic Net)
- 最小角回归(Least-Angle Regression)
优点:
- 其惩罚会减少过拟合
- 总会有解决方法
缺点:
- 惩罚会造成欠拟合
- 很难校准
集成算法(Ensemble algorithms)
![6f25a66d1d6e4662a38cb5cc3734bd68.png](https://i-blog.csdnimg.cn/blog_migrate/6fdf3520bc86df3cf63d1626dba89add.jpeg)
集成方法是由多个较弱的模型集成模型组,其中的模型可以单独进行训练,并且它们的预测能以某种方式结合起来去做出一个总体预测。
该算法主要的问题是要找出哪些较弱的模型可以结合起来,以及结合的方法。这是一个非常强大的技术集,因此广受欢迎。
- Boosting
- Bootstrapped Aggregation(Bagging)
- AdaBoost
- 层叠泛化(Stacked Generalization)(blending)
- 梯度推进机(Gradient Boosting Machines,GBM)
- 梯度提升回归树(Gradient Boosted Regression Trees,