算法必备基础知识攻关

1）回归算法：

• * 最小二乘法（OrdinaryLeast Square）
• * 逻辑回归（Logistic Regression）
• * 逐步式回归（Stepwise Regression）
• (缩减方法)
• * 多元自适应回归样条（MultivariateAdaptive Regression Splines）
• * 本地散点平滑估计（Locally Estimated Scatterplot Smoothing）

2）基于实例的算法：

• * k-Nearest Neighbor(KNN)
• * 学习矢量量化（Learning Vector Quantization， LVQ）
• * 自组织映射算法（Self-Organizing Map ， SOM）

3）基于正则化方法：

• * 岭回归（Ridge Regression）L2
• * 稀疏约束Least Absolute Shrinkage and Selection Operator（LASSO）L1
• * 弹性网络（Elastic Net）

4）决策树学习：

• * 分类及回归树（ClassificationAnd Regression Tree， CART）
• * ID3 (Iterative Dichotomiser 3)
• * C4.5
• * Chi-squared Automatic Interaction Detection(CHAID)
• * Decision Stump
• * 随机森林（Random Forest）
• * 多元自适应回归样条（MARS）
• * 梯度推进机（Gradient Boosting Machine， GBM）

5）基于贝叶斯方法：

• * 朴素贝叶斯算法
• * 平均单依赖估计（AveragedOne-Dependence Estimators， AODE）
• * Bayesian Belief Network（BBN）

• 6）基于核的算法：

• * 支持向量机（SupportVector Machine， SVM）
• * 径向基函数（Radial Basis Function ，RBF)
• * 线性判别分析（Linear Discriminate Analysis ，LDA)

7）聚类算法：

• * k-Means算法
• * 期望最大化算法（Expectation Maximization， EM）

8）基于关联规则学习：

• * Apriori算法
• * Eclat算法

9）人工神经网络：

• * 感知器神经网络（PerceptronNeural Network）
• * 反向传递（Back Propagation）
• * Hopfield网络
• * 自组织映射（Self-OrganizingMap, SOM）
• * 学习矢量量化（Learning Vector Quantization， LVQ）；

10）深度学习：

• * 受限波尔兹曼机（RestrictedBoltzmann Machine， RBN）
• * Deep Belief Networks（DBN）
• * 卷积网络（Convolutional Network）
• * 堆栈式自动编码器（Stacked Auto-encoders）

11）降低维度的算法：

• * 主成份分析（PrincipleComponent Analysis， PCA）
• * 偏最小二乘回归（Partial Least Square Regression，PLS）
• * Sammon映射
• * 多维尺度（Multi-Dimensional Scaling, MDS）
• * 投影追踪（ProjectionPursuit）

• 12）集成算法：

• * Boosting
• * Bootstrapped Aggregation（Bagging）
• * AdaBoost
• * 堆叠泛化（Stacked Generalization， Blending）
• * 梯度推进机（GradientBoosting Machine, GBM）
• * 随机森林（Random Forest）