机器学习 - 统计学习简史

目录

最小二乘法

线性判别分析

Logistic 回归

广义线性模型

分类回归树

广义可加模型

---

最小二乘法

19世纪初，勒让德（Legendre）和高斯（Gauss）发表了有关最小二乘法的文章。

线性判别分析

1936年，费舍尔（Fisher）提出线性判别分析。

Logistic 回归

20世纪40年代，许多学者又提出了替代的方法-逻辑斯谛（logistic）回归。

广义线性模型

在20世纪70年代初，内尔德（Nelder）和韦德伯恩（Wedderburn）提出了一个新概念-广义线性模型（generalized linear model），囊括了统计学习方法中的线性回归和logistic回归在内的线性模型。

分类回归树

20世纪80年代，计算条件具备，非线性模型不再受计算的困扰。

20世纪80年代中期，布莱曼（Breiman）、弗里德曼（Friedman）、奥申（Olshen）和斯通（Stong），提出了分类回归树，率先示范了一个实用方法在具体实施中的威力，其中包括了用于模型选择的交差验证法。

广义可加模型

1986年，哈斯贴（Hastie）和提布施瓦尼（Tibshirani）提出了一个被称为广义可加模型的概念，将一类非线性模型扩展至广义线性模型族中。