有监督学习方法

有监督学习的算法分成以下几类

1. 线性分析法（Linear Analysis）。来源于统计学，如最小二乘法，岭回归（ridge regression），套索回归 (Lasso Regression)，线性判别分析等
2. 梯度下降法（Gradient Descent）。主要有三个分支，批量梯度下降（BGD），随机梯度下降（SGD），小批量梯度下降（MBGD）
3. 朴素贝叶斯(Naive Bayes)。基于概率论的分类方法。在贝叶斯理论中，该方法要求所有特征之间相互独立
4. 决策树（Decision Tree）。源自风险管理的辅助决策系统，是一个利用树状模型的决策支持工具，根据其建分支的策略不同派生了很多子算法，如ID3、C4.5、CART
5. 支持向量机(Support Vector Machine,SVM) 。20世纪60年代就被提出，直到1992年由Bernhard E.Boser 等人改进为可以应用于非线性问题后被广泛应用，在21世纪初期的很长时间里被认为是最好的分类器。
6. 神经网络（Neutral Network,NN)。由名称可知源于生物神经学，具有较长历史，可以处理复杂的非线性问题。传统神经网络的研究曾一度停滞，但随着计算机计算能力的提升和卷积网络结构的提出，由其发展而来的深度学习(Deep Learning）已经成为当前机器学习中非常强大的工具。
7. 集成学习(Ensemble Learning)。是一种利用若干个基础分类器共同执行决策的方法。此方法近来被广泛应用，其中的随机森林（RandomForrest）正在逐步取代SVM的地位。此外，还有以 AdaBoost为代表的提升方法（Boosting Method)。