机器学习算法列表

机器学习：

• 监督式学习(分类、回归)：决策树(ID3、C4.5)、朴素贝叶斯、最小二乘回归、逻辑回归(Logistic)、支持向量机、传递神经网络
• 非监督式学习(关联、聚类)：奇异值分解、主成分分析、独立成分分析、Apriori、K-Means
• 半监督式学习(分类、回归)：图论推理、拉普拉斯支持向量机

常见算法：

• 正则化算法（Regularization Algorithms）
• 集成算法（Ensemble Algorithms）
• 决策树算法（Decision Tree Algorithm）
• 回归（Regression）
• 人工神经网络（Artificial Neural Network）
• 深度学习（Deep Learning）
• 支持向量机（Support Vector Machine）
• 降维算法（Dimensionality Reduction Algorithms）
• 聚类算法（Clustering Algorithms）
• 基于实例的算法（Instance-based Algorithms）
• 贝叶斯算法（Bayesian Algorithms）
• 关联规则学习算法（Association Rule Learning Algorithms）
• 图模型（Graphical Models）
• 岭回归（Ridge Regression）
• 最小绝对收缩与选择算子（LASSO）
• GLASSO
• 弹性网络（Elastic Net）
• 最小角回归（Least-Angle Regression

集成算法：

boosting
基于错误提升分类器性能，通过集中关注被已有分类器分类错误的样本，构建新分类器并集成。
bagging
基于数据随机重抽样的分类器构建方法。

• Boosting
• Bootstrapped Aggregation（Bagging）
• AdaBoost
• 层叠泛化（Stacked Generalization）（blending）
• 梯度推进机（Gradient Boosting Machines，GBM）
• 梯度提升回归树（Gradient Boosted Regression Trees，GBRT）
• 随机森林（Random Forest）
• 分类和回归树（Classification and Regression Tree，CART）
• Iterative Dichotomiser 3（ID3）
• C4.5 和 C5.0（一种强大方法的两个不同版本）

回归算法：

• 普通最小二乘回归（Ordinary Least Squares Regression，OLSR）
• 线性回归（Linear Regression）
• 逻辑回归（Logistic Regression）
• 逐步回归（Stepwise Regression）
• 多元自适应回归样条（Multivariate Adaptive Regression Splines，MARS）
• 本地散点平滑估计（Locally Estimated Scatterplot Smoothing，LOESS）

人工神经网络：

• 感知器
• 反向传播
• Hopfield 网络
• 径向基函数网络（Radial Basis Function Network，RBFN）

深度学习：

• 深玻耳兹曼机（Deep Boltzmann Machine，DBM）
• Deep Belief Networks（DBN）
• 卷积神经网络（CNN）
• Stacked Auto-Encoders

支持向量机：

降维算法：

• 主成分分析（Principal Component Analysis (PCA)）
• 主成分回归（Principal Component Regression (PCR)）
• 偏最小二乘回归（Partial Least Squares Regression (PLSR)）
• Sammon 映射（Sammon Mapping）
• 多维尺度变换（Multidimensional Scaling (MDS)）
• 投影寻踪（Projection Pursuit）
• 线性判别分析（Linear Discriminant Analysis (LDA)）
• 混合判别分析（Mixture Discriminant Analysis (MDA)）
• 二次判别分析（Quadratic Discriminant Analysis (QDA)）
• 灵活判别分析（Flexible Discriminant Analysis (FDA)）

 

聚类算法：

• K-均值（k-Means）
• k-Medians 算法
• Expectation Maximi 封层 ation (EM)
• 最大期望算法（EM）
• 分层集群（Hierarchical Clstering）

 

贝叶斯算法：

• 朴素贝叶斯（Naive Bayes）
• 高斯朴素贝叶斯（Gaussian Naive Bayes）
• 多项式朴素贝叶斯（Multinomial Naive Bayes）
• 平均一致依赖估计器（Averaged One-Dependence Estimators (AODE)）
• 贝叶斯信念网络（Bayesian Belief Network (BBN)）
• 贝叶斯网络（Bayesian Network (BN)）

关联规则学习算法：

• Apriori 算法（Apriori algorithm）
• Eclat 算法（Eclat algorithm）
• FP-growth

图模型：

• 贝叶斯网络（Bayesian network）
• 马尔可夫随机域（Markov random field）
• 链图（Chain Graphs）
• 祖先图（Ancestral graph）