机器学习(1):绪论

原文链接：机器学习(1):绪论 | 远行的舟

参考文献：① 周志华. 机器学习[M]. 北京:清华大学出版社. 2016.01. ② 李航. 统计学习方法[M]. 北京:清华大学出版社. 2012.03.

周志华教授在其所著 《机器学习》 一书中将机器学习定义为：一门致力于研究如何通过计算的手段，利用数据来改善系统自身性能的学科。同时周教授指出：机器学习主要研究从数据中产生模型的算法，即学习算法（learning alogrithm）. 笔者认为可以将机器学习定义得更简单一点：机器学习就是研究数据分析方法的计算机科学分支，但它吸收了许多数学和统计学方法并以这些方法为基础，因此它也是一门横跨数学、统计学、计算机科学等多个学科领域的交叉学科。

模型 (model) / 学习器 (learner) 是从数据中学到的结果，这个结果通常是一个函数或可以看成为一个函数。有的文献会用模型指全局性结果，而用模式指局部性结果。

众所周知，统计学也是一门研究数据的科学。然而，遗憾的是：从上个世纪三四十年代开始，统计学的研究越来越数学化，越来越脱离实际问题，其中的原因是多方面的，我国统计学界唯一的中科院院士陈希孺老师在其所著的 《数理统计简史》 中对此有详细阐述，笔者很喜欢陈老师写得书，陈老写的书不仅一丝不苟而且高屋建瓴。早在二十年前，陈老就在这本书的尾言中写道：统计学的未来大概就是数据分析吧。

在统计学研究数学化倾向开始的三四十年代，一门新兴的学科——计算机科学随着人类历史上第一台通用电子计算机的发明诞生了。此后计算机科学中专注研究数据的分支学科机器学习，以其基于数据驱动的研究方法而非模型驱动的研究方法，以其对数学、统计学等多门学科的包容性，逐渐在数据分析中取代了传统的统计学，而成为工业界数据分析尤其是大规模数据分析的主流方法。陈老在书中讲道：上个世纪六七十年代，一些富有远见的统计学家也意识到了统计研究愈来愈数学化的不良倾向，在他们的推动下，国外的统计教学与研究开始纠正航向，转移到数据驱动的研究方法上来。然而据笔者的观察：暂且不论研究，起码国内目前统计学的教学仍然未能摆脱这种数学化倾向。

作为一门研究数据的科学，我们大多数学校的统计学本科生在大学期间不是泡在数据的海洋里，而是泡在一堆数学公式里面，不是说数学不重要，但依靠公式是孕育不了新的统计思想的。如果我们回看当年 Fisher 提出方差分析方法的历史，就该明白：实际数据分析才是催生新的统计思想或新的数据分析方法的源泉。

有时候笔者会问问自己：作为一名统计专业的毕业生，先不说你会不会分析数据，你先说说你会不会收集各种各样的数据？我想不仅我自己，我们国内目前大多数大学的统计学本科毕业生，哪怕是一些很有名的大学，面对这样的问题，我们的回答一定干脆利落，不会！笔者觉得这是一个天大的笑话：你学统计的吗，答是的，你要对数据作分析先得会什么，答会收集数据，现在什么地方数据最多最丰富，答网络上，网络上的数据你会收集吗，答不会要编程我不会。统计学专业毕业的学生还要别人替他收集数据，这样的笑话就是对我们国内统计学教学现状的赤裸裸的嘲讽！如果要重新设计统计学的本科教学计划，笔者觉得同学们首先要学的不是数学，而是学习如何利用计算机获取各种各样的数据，因为如果连数据都不会收集，统计学的学习与研究就成了无源之水、无本之木。

当然，国内统计学教学的改变不会是一蹴而就的。而统计学过去的研究也并非是一无是处的，实际上六七十年后统计学开始重新走向实用化研究道路后取得了许多新的成果，今天机器学习中许许多多重要的方法都是统计学家提出的，如用于模型选择的交叉验证方法、在许多分类模型中有重要应用的自助方法等等。笔者还记得本科数理统计最后一堂课时，郭老师这样讲道：数据，现在不仅我们搞统计的在研究，数学那边搞计算数学的也在研究，计算机那边也在研究，我们搞统计的从模型出发，他们计算机的呢从算法出发，我认为啊，这几门研究数据的学科最终会殊途同归。

下面，我们将首先介绍机器学习中一些常用的术语，并指出其中部分术语在统计学中对应的名词；接着我们将介绍机器学习的发展历程与应用现状，并给出机器学习领域重要的文献、会议与期刊。

1.1 基本术语

下面我们列举一下机器学习中的常用术语，事实上，这些常用术语中有许多都可以在统计学中找到意义相近或相同的术语与之对应，笔者将对此加以说明。令一个 $m\times d$ 实矩阵

$$D_1={\left({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_m\right)}^{\mathbf{T}},{\mathbf{x}}_i={\left(x_{i1},x_{i2},\cdots ,x_{id}\right)}^{\mathbf{T}},x_i\in$$