吴恩达《机器学习》笔记——第一章《介绍》

1.2 What is machine learning（什么是机器学习)

关于机器学习的具体定义没有定论，但大家都知道它是个什么东西。吴恩达在视频中提了两个定义：Arthur Samuel (1959) 和 Tom Mitchell (1998) 给出的定义。吴着重介绍了后者(吴在卡内基梅隆大学的一个朋友)：Well-posed Learning Problem：A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.

我更喜欢 周志华的《机器学习》，俗称“西瓜书” 中的解释：机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型；在面对新的情况时，模型会给我们提供相应的判断。

所以，Tom 的 E 对应于经验数据，T 对应于新的情况（任务），P 就是结果正确与否。

目前有不同类型的学习算法，最主要的两类是监督学习(Supervised Learning)和无监督学习(Unsupervised Learning)。其它的有：强化学习(Reinforcement Learning)、推荐系统(Recommender Systems)。

1.3 Supervised Learning（监督学习）

定义：监督学习是指，给算法一个数据集并且给出了这个数据集中的每一个样本的正确答案，算法的目的是对于新的数据，给出（预测）“正确答案”。 当然预测出的答案不一定是正确的。

若欲预测的是离散值，此类学习任务称为分类(classification)；若欲预测的是连续值，此类学习任务称为回归(regression)。分类是找到一条线分离数据集，回归是找到一条线来拟合数据集。

1.4 Unsupervised Learning（无监督学习）

定义：我们得到一个数据集，我们不知道要拿来干什么，也不知道每个数据点究竟是什么和数据集分为多少类型。

西瓜书中根据训练集(Training Set)是否有标记(label)信息，即“正确答案”，分为监督学习（有标记信息）和无监督学习（没有标记信息）。

无监督学习的代表：聚类(clustering)、鸡尾酒会问题(Cocktail Party Problem)。

聚类：将训练集中的样本(sample)分成若干组，每一个组称为一个簇(cluster)；这些自动形成的簇可能对应一些潜在的概念划分，但是这些概念我们事先是不知道的。

鸡尾酒会问题：是语音识别领域的经典问题，指是人们在鸡尾酒会中交谈，语音信号会重叠在一起，机器需要将它们分离成独立的信号。