李宏毅深度学习课程笔记01——机器学习介绍

文章目录

0.人工智能、机器学习与深度学习的关系

1.什么是机器学习

2.如何实现机器学习

3.本课程的learning map

---

0.人工智能、机器学习与深度学习的关系

首先引出三个概念：人工智能（Artificial Intelligence）、机器学习（Machine Learning）以及深度学习（Deep Learning）。通俗来讲，人工智能是指机器可以像人类一样聪明；机器学习是指让机器拥有学习的能力；深度学习是通过模拟人类神经网络建立起机器学习模型。

三者的关系如下图所示：人工智能是期望达成的目标，机器学习是手段，而深度学习是机器学习中的一种方法。

1.什么是机器学习

在生活中很多问题都可以归结为寻找function。例如语音识别就是要找到一个function，使得输入一段音频，输出的结果是识别出的文字；图像识别就是要找到一个function，使得输入一张图片，输出的结果是识别出的图片上的物体。

而这些问题的解（function）十分复杂，不是靠人类制定简单的规则所能实现的，这时就需要机器去寻找function。

机器学习是指让机器具备一种根据所给的数据寻找function，并给出输出的能力。

2.如何实现机器学习

怎样去寻找function呢？大体上来讲分为三步：

Step 1：define a set of function，即准备一个function set（也叫作model），其中包含成千上万的function；

Step 2：goodness of function，即让机器去衡量一个function的好坏；

Step 3：pick the best function，即实现一个自动的方法，挑选出最好的function。

3.本课程的learning map

下图中以三种颜色区分开了三类概念：场景（scenario）、任务（task）以及方法（method）。可以看到一类特定的场景中有许多不同的任务，而一个任务又可以由许多不同的方法来实现。

首先介绍场景的详细划分。可将其分为五类：

（1）Supervised Learning：监督学习，训练数据包含输入和期望的输出（即label），标注需要大量的时间。

（2）Semi-supervised Learning：半监督学习，训练数据中Labeled data不够多，只有一部分数据的输入对应确定的输出，另一部分数据缺少期望的输出，是未标注的Unlabeled data。

（3）Transfer Learning：迁移学习，与半监督学习类似，训练数据中Labeled data不够多，只有一部分数据的输入对应确定的输出，另一部分数据是与task无关的其他类的Labeled data或Unlabeled data。例如图像识别中做猫和狗的二分类任务，数据包含老虎、大象等其他动物的图片。

（4）Unsupervised Learning：无监督学习，所有训练数据都是Unlabeled data。例如输入大量未标注的文章来做新闻分类。

（5）Reinforcement Learning：强化学习，所欲训练数据都没有确定的label，而是在学习过程中获得一个reward反馈信号，也就是说不是采用正确的行为来做指导，而是利用已有信息对行为作出评价。

其次介绍Supervised Learning中任务的详细划分。可将其分为三类：

（1）Regression：回归，回归任务的function输出结果是一个数值。例如根据历史数据预测未来某一天PM2.5的数值。

（2）Classification：分类，又可分为二元分类（Binary classification）和多类分类（Multi-class classification）。 二元分类的输出结果是“是”或“否”，例如判断邮件是否为垃圾邮件；多类分类的输出结果是某一种类别，例如对新闻的分类。

（3）Structure learning：结构化学习，输入输出都是一种带有结构的对象。例如机器翻译，输入和输出都是sequence。

最后，Classification按照方法又可分为两类：

（1）Linear Model：线性模型。

（2）Non-linear Model：非线性模型，其中常见的方法有深度学习（Deep Learning）、支持向量机（SVM）、决策树（Decision tree）、最邻近节点（K-NN）等。