机器学习 | 机器学习与人工智能、深度学习、数据挖掘之间是什么关系？

机器学习、深度学习、人工智能和数据挖掘之间是什么关系？

这个问题困扰我很久了。上过数据挖掘的课程，学了机器学习的算法，打着人工智能的旗号，但依旧扯不清他们的关系。直至今天，阅读完周志华的《机器学习》绪论篇，有了点头绪。故此，把我的理解记录下来。

---

一、什么是机器学习？

人们往往依靠自身「经验」做判断。现在我们希望，计算机也基于「经验」做出判断。

计算机的「经验」，即数据；计算机的「判断」，即模型的结果；而机器学习就是从「经验」到「模型结果」之间的过程。因此，机器学习研究的就是，计算机如何从数据中产生模型的算法，即“学习算法”。

---

二、机器学习 & 人工智能

• 「结论」：机器学习是人工智能研究发展到一定阶段的必然产物。

二十世纪五十年代到七十年代初，人们以为只要能赋予机器逻辑推理能力，机器就能具有智能。然而，随着研究发展，人们逐渐意识到，仅有逻辑推理能力是远远实现不了人工智能的。E.A. Feigenbaum等人认为，要使机器具有智能，就必须设法使机器拥有知识。

于是，人工智能研究进入了“知识期”。可是，人们把知识总结出来再教给计算机是相当困难的，于是 —— 如果机器能自己学习知识该多好？

---

三、机器学习 & 深度学习

• 「结论」：机器学习是个相当大的领域，而深度学习是机器学习的技术之一。

如何让机器自己学习知识？于是，各种技术百花齐放……

1. 在二十世纪八十年代，“符号主义学习” 是一大主流，其代表包括「决策树」和「基于逻辑的学习」。

2. 到了二十世纪九十年代中期之前，另一主流技术是「基于神经网络的连接主义学习」。连接主义取得了很大的发展。但是，他的局限性在于其“试错性” —— 其学习过程涉及大量的参数，而参数设置缺乏理论指导，主要靠手工“调参”；参数变化哪怕一点，学习结果却可能相差甚远了。

3. 连接主义学习技术的局限性凸显之后，人们把目光转向了以统计学系理论为直接支撑的“统计学习”技术。代表技术是「支持向量机」和「核方法」。

4. 有趣的是，二十一世纪初，连接主义学习卷土重来，掀起了“深度学习”的热潮。所谓深度学习，狭义地说，就是“很多层”的神经网络。

   那么它为什么热起来了呢？恰由于人类进入了“大数据时代”，数据储量和计算设备都大大发展，才使得连接主义学习重焕生机。

---

四、机器学习 & 数据挖掘

• 「结论」：数据挖掘是机器学习的应用，机器学习为数据挖掘提供数据分析技术。

数据挖掘受到很多学科领域的影响，其中数据库、机器学习和统计学无疑影响最大。

结合我的理解和书的讲解，我总结他们之间的关系如下图 ：

---

后记

本篇记为周志华《机器学习》第一章的笔记。

因为本书即为《机器学习》，故我在阐述 机器学习、人工智能、深度学习、数据挖掘 四者之间的关系时，都以「机器学习」为中心，讨论其与其他之间的关系。而其他三者之间，又有什么区别和联系，有待探讨。