机器学习基础--各种学习方式（2）

机器学习体系汇总

---

监督学习 Supervised learning

人工神经网络 Artificial neural network

1. 自动编码器 Autoencoder
2. 反向传播网络 Backpropagation network
3. 玻尔兹曼机 Boltzmann machine
4. 卷积神经网络 Convolutional neural network
5. Hopfield网络 Hopfield network
6. 多层感知器 Multilayer perceptron
7. 径向基函数网络（RBFN） Radial basis function network
8. 受限玻尔兹曼机 Restricted Boltzmann machine
9. 回归神经网络（RNN） Recurrent neural network(RNN)
10. 自组织映射（SOM） Self-organizing map(SOM)
11. 尖峰神经网络 Spiking neural network

贝叶斯 Bayesian

1. 朴素贝叶斯 Naive Bayes
2. 高斯贝叶斯 Gaussian Naive Bayes
3. 多项朴素贝叶斯 Multinomial Naive Bayes
4. 平均一依赖性评估（AODE） Averaged One-Dependence Estimators
5. 贝叶斯信念网络（BNN） Bayesian Belief Network(BBN)
6. 贝叶斯网络（BN） Bayesian Network(BN)

决策树 Decision Tree

1. 分类和回归树（CART） Classification and regression tree
2. 迭代Dichotomiser 3（ID3） Iterative Dichotomiser 3(ID3)
3. C4.5算法 C4.5 algorithm
4. C5.0算法 C5.0 algorithm
5. 卡方自动交互检测（CHAID） Chi-squared Automatic Interaction Detection
6. 决策残端 Decision stump
7. ID3算法 ID3 algorithm
8. 随机森林 Random forest
9. SLIQ

线性分类 Linear classifier

1. Fisher的线性判别 Fisher’s linear discriminant
2. 线性回归 Linear regression
3. Logistic回归 Logistic regression
4. 多项Logistic回归 Multinomial logistic regression
5. 朴素贝叶斯分类器 Naive Bayes classifier
6. 感知 Perceptron
7. 支持向量机 Support vector machine(SVM)

---

无监督学习 Unsupervised learning

人工神经网络 Artificial neural network

1. 对抗生成网络
2. 前馈神经网络 Feedforward neurral network
3. 极端学习机 Extreme learning machine
4. 逻辑学习机 Logic learning machine
5. 自组织映射 Self-organizing map

关联规则学习 Association rule learning

1. 先验算法 Apriori algorithm
2. Eclat算法 Eclat algorithm
3. FP-growth算法 FP-growth algorithm

分层聚类 Hierarchical clustering

1. 单连锁聚类 Single-linkage clustering
2. 概念聚类 Conceptual clustering

聚类分析 Cluster analysis

1. BIRCH
2. DBSCAN
3. 期望最大化（EM） Expectation-maximization(EM)
4. 模糊聚类 Fuzzy clustering
5. K-means算法 K-means algorithm
6. k-均值聚类 K-means clustering
7. k-位数 K-medians
8. 平均移 Mean-shift
9. OPTICS算法 OPTICS algorithm

异常检测 Anomaly detection

1. k-最近邻算法（KNN） k-nearest neighbors classification(K-NN)
2. 局部异常因子 Local outlier factor

---

半监督学习 Semi-supervised learning

生成模型 Generative models

1. 低密度分离 Low-density separation
2. 基于图形的方法 Graph-based methods
3. 联合训练 Co-training

强化学习 Reinforcement learning

1. 时间差分学习 Temporal difference learning
2. Q学习 Q-learning
3. 学习自动 Learning Automata
4. 状态-行动-回馈-状态-行动（SARSA） State-Action-Reward-State-Action(SARSA)

深度学习 Deep learning

1. 深度信念网络 Deep belief machines
2. 深度卷积神经网络 Deep Convolutional neural networks
3. 深度递归神经网络 Deep Recurrent neural networks
4. 分层时间记忆 Hierarchical temporal memory
5. 深度玻尔兹曼机（DBM） Deep Boltzmann Machine(DBM)
6. 堆叠自动编码器 Stacked Boltzmann Machine
7. 生成式对抗网络 Generative adversarial networks

迁移学习 Transfer learning

1. 传递式迁移学习 Transitive Transfer Learning

---

其他

集成学习算法

1. Bootstrap aggregating (Bagging)
2. AdaBoost
3. 梯度提升机（GBM） Gradient boosting machine(GBM)
4. 梯度提升决策树（GBRT） Gradient boosted decision tree

降维

1. 主成分分析（PCA） Principal component analysis
2. 主成分回归（PCR） Principal component regression(PCR)
3. 因子分析 Factor analysis