机器学习常见算法历史排序_不同机器学习算法的提出时间-CSDN博客

本文链接：https://blog.csdn.net/u013032116/article/details/78036499

本文介绍了机器学习领域的一些经典算法的历史，包括PCA、LDA、核回归、HMM、EM算法、CNN、RNN、SVD、CART、RBM、LSTM和GBDT等。这些算法分别在数据降维、分类、非线性关系估计、序列模型等方面做出了重大贡献，影响了后续的深度学习和神经网络发展。

摘要由CSDN通过智能技术生成

主成分分析（PCA）
在1901年由Pearson发明，之后由Hotelling在1930s命名。主要用于探索性数据分析，以及构建预测模型。

线性判别分析（LDA）
跟方差分析（ANOVA）和回归分析关系密切，旨在把因变量作为其他特征（自变量）的线性组合表示。不同之处在于，方差分析的自变量是分类变量，因变量是连续变量。判别分析的自变量是连续变量，因变量是分类变量。
线性判别分析和主成分分析、因子分析也很相关。

核回归（kernel regression）
在1964提出，是一种非参数统计方法，用于估计随机变量的条件期望，也就是寻找两个随机变量之间的非线性关系。
E(Y|X)=m(X)
m就是要估计的函数

隐马尔可夫模型（HMM）
主要由Baum从1966-1972发展而来，是一种最简单的动态贝叶斯网络。最常应用于强化学习，模式识别，例如语音、手写字体、姿势识别。
是一种推广的混合模型，其中的隐变量控制混合部分，通过马尔科夫过程相关，而不是相互独立。
“Statistical Inference for Probabilistic Functions of Finite State Markov Chains”
“An inequality with applications to statistical estimation for probabilistic functions of Markov processes and to a model for eco