主成分分析(PCA)
在1901年由Pearson发明,之后由Hotelling在1930s命名。主要用于探索性数据分析,以及构建预测模型。
线性判别分析(LDA)
跟方差分析(ANOVA)和回归分析关系密切,旨在把因变量作为其他特征(自变量)的线性组合表示。不同之处在于,方差分析的自变量是分类变量,因变量是连续变量。判别分析的自变量是连续变量,因变量是分类变量。
线性判别分析和主成分分析、因子分析也很相关。
核回归(kernel regression)
在1964提出,是一种非参数统计方法,用于估计随机变量的条件期望,也就是寻找两个随机变量之间的非线性关系。
E(Y|X)=m(X)
m就是要估计的函数
隐马尔可夫模型(HMM)
主要由Baum从1966-1972发展而来,是一种最简单的动态贝叶斯网络。最常应用于强化学习,模式识别,例如语音、手写字体、姿势识别。
是一种推广的混合模型,其中的隐变量控制混合部分,通过马尔科夫过程相关,而不是相互独立。
“Statistical Inference for Probabilistic Functions of Finite State Markov Chains”
“An inequality with applications to statistical estimation for probabilistic functions of Markov processes and to a model for eco