Python深度学习（深度学习之前：机器学习简史）----学习笔记（二）

1.2 深度学习之前：机器学习简史

• 深度学习已经得到了人工智能历史上前所未有的公众关注度和产业投资，但这并不是机器学习的第一次成功。可以这样说，当前工业界所使用的绝大部分机器学习算法都不是深度学习算法。深度学习不一定总是解决问题的正确工具：有时没有足够的数据，深度学习不适用；有时用其他算法可以更好地解决问题。

1.2.1 概率建模

• 概率建模（probabilistic modeling） 是统计学原理在数学分析中的应用。它是最早的机器学习形式之一，至今仍在广泛使用。其中最有名的算法之一就是朴素贝叶斯算法。
• 朴素贝叶斯是一类基于应用贝叶斯定理的机器学习分类器，它假设输入数据的特征都是独立的。这是一个很强的假设，或者说“朴素的”假设，其名称正来源于此。这种数据分析方法比计算机出现得还要早，在其第一次被计算机实现（很可能追溯到20世纪50年代）的几十年前就已经靠人工计算来应用了。贝叶斯定理和统计学基础可以追溯到18世纪。
• 另一个密切相关的模型是logistic回归（logistic regression, 简称logreg），它有时被认为是现代机器学习的“Hello world”。logreg是一种分类算法，而不是回归算法。与朴素贝叶斯类似，logreg的出现也比计算机早很长世纪，但由于它既简单又通用，至今仍然很有用。面对一个数据集，数据科学家通常会首先尝试使用这个算法，以便初步熟悉手头的分类任务。

1.2.2 早期神经网络

• 虽然人们早在20世纪50年代就将神经网络作为玩具项目，并对其核心思想进行研究，但这一方法在数十年后才