机器学习简单算法整理

今天整理了一下简单的机器学习算法。打算按照这个提纲学习代码实现，不一定按顺序，但希望自己每学习一个都能了解透彻。打算寒假前就仔细研究这块了。

一、Regression(回归）

• Ordinary Least Squares普通最小二乘法
• Logistic Regression逻辑回归
• Stepwise Regression逐步回归
• Multivariate Adaptive Regression Splines (MARS)多元自适应回归
• Locally Estimated Scatterplot Smoothing (LOESS)本地散点平滑估计

二、基于实例的方法

• k-Nearest Neighbour (kNN)
• Learning Vector Quantization (LVQ)学习矢量量化
• Self-Organizing Map (SOM)自组织映射算法

三、Regularazation 正则化方法

• Ridge Regression岭回归数值计算方法
• Least Absolute Shrinkage and Selection Operator (LASSO)至少绝对的收缩和选择算子
• Elastic Net弹性网络

四、决策（Decison）树学习

• Classification and Regression Tree (CART)分类回归树
• Iterative Dichotomiser 3 (ID3)迭代二叉树3代
• C4.5
• Chi-squared Automatic Interaction Detection (CHAID)卡方自动交互检测
• Decision Stump单层决策树
• Random Forest随机森林
• Multivariate Adaptive Regression Splines (MARS)多元自适应回归样条
• Gradient Boosting Machines (GBM)梯度推进机

五、Bayesian 贝叶斯

• Naive Bayes朴素贝叶斯
• Averaged One-Dependence Estimators (AODE)平均单依赖估计
• Bayesian Belief Network (BBN)贝叶斯信念网络

六、Kernel Method 内核方法

• Support Vector Machines (SVM)支持向量机
• Radial Basis Function (RBF)径向基函数
• Linear Discriminate Analysis (LDA)线性鉴别分析

七、Clustering 聚类方法

• k-Means
• Expectation Maximisation (EM)期望最大化算法

八、关联规则学习

• Apriori 算法
• Eclat 算法

九、人工神经网络

• Perceptron感知器神经网络
• Back-Propagation反向传递
• Hopfield Network(Hopfield网络)
• Self-Organizing Map (SOM)自组织映射
• Learning Vector Quantization (LVQ)学习矢量量化

十、深度学习‘

• Restricted Boltzmann Machine (RBM)受限波尔兹曼机
• Deep Belief Networks (DBN)深度信念网络
• Convolutional Network回旋神经网
• Stacked Auto-encoders堆栈式自动编码器

十一、Dimensionality reduction (降维方法）

• Principal Component Analysis (PCA)主成分分析
• Partial Least Squares Regression (PLS)偏最小二乘回归
• Sammon Mapping
• Multidimensional Scaling (MDS)多维尺度
• Projection Pursuit投影寻踪

十二、Ensemble 集成方法

• Boosting
• Bootstrapped Aggregation (Bagging)自展输入引导式聚合
• AdaBoost
• Stacked Generalization (blending)堆栈泛化
• Gradient Boosting Machines (GBM)梯度Boosting机器
• Random Forest随机森林