【李宏毅《机器学习》笔记】一、机器学习介绍

1. 主要任务

• 回归（regression）：主要用于预测数值型数据。
• 分类（classification）：将实例数据划分到合适的类别中。

---

2. 相关技术

2.1 Learning Map

2.2 Supervised Learning（监督学习）

从给定的训练集中学习一个函数，当新数据到来时，可以根据这个函数来预测结果。监督学习的训练集要求有输入和输出，也称之为特征和目标。从输入数据提取数据特征，以达到输出特定目标的目的。训练集的目标是由人标注的，常见的监督学习算法包括回归和分类。

2.2.1 Regression（回归）

machine找到的function，它的输出是一个scalar（标量），这个叫做regression。

2.2.2 Classification（分类）

2.2.2.1 二分类

输出的是是或否（Yes or No）。

举例来说，二分类可以鉴别垃圾邮件，将其放到垃圾箱。

你要训练这样的function很简单，给他一大堆的Data并告诉它，现在输入这封邮件，你应该说是垃圾邮件，输入这封邮件，应该说它不是垃圾邮件。你给他够多的这种资料去学，它就可以自动找出一个可以侦测垃圾邮件的function。

2.2.2.2 多分类

让机器做一个选择题，每个选项都是一个类别。

现在网络上有非常非非常多的新闻，也许没有人会把所有的新闻看完，但希望机器自动帮一把新闻做分类。

2.3 Deep Learning（深度学习）

刚才讲的都是让machine去解的任务，接下来要讲的是在解任务的过程中第一步就是要选择function set，选不同的function set就是选不同的model。Model有很多种，最简单的就是线性模型，但我们会花很多时间在非线性模型上。在非线性的模型中最耳熟能详的就是Deep learning。
除了deep learning 以外还有很多machine learning的model也是非线性的模型。

在做Deep learning时，它的function是特别复杂的，所以它可以做特别复杂的事情。比如它可以做影像辨识，这个复杂的function可以描述pixel和class之间的关系。

用Deep learning的技术也可以让机器下围棋， 下围棋这个task 其实就是一个分类的问题。对分类问题我们需要一个很复杂的function，输入是一个棋盘的格子，输出就是下一步应该落子的位置。我们知道一个棋盘上有十九乘十九的位置可以落子，所以今天下围棋这件事情，你就可以把它想成是一个十九乘十九个类别的分类问题，或者是你可以把它想成是一个有十九乘十九个选项的选择题。

2.4 Semi-supervised Learning（半监督学习）

半监督学习是一种基于监督学习和无监督学习之间的方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。

刚才我们讲的都是supervised learning（监督学习），监督学习的问题是我们需要大量的training data。training data告诉我们要找的function的input和output之间的关系。如果我们在监督学习下进行学习，我们需要告诉机器function的input和output是什么。这个output往往没有办法用很自然的方式取得，需要人工的力量把它标注出来，这些function的output叫做label。
那有没有办法减少label需要的量呢？就是半监督学习。

2.5 Transfer Learning（迁移学习）

将在一个模型中已经训练好的模型参数迁移到新的模型继续训练学习的学习方法。

另外一个减少data用量的方向是迁移学习。
迁移学习的意思是：假设我们要做猫和狗的分类问题，我们也一样，只有少量的有label的data。但是我们现在有大量的data，这些大量的data中可能有label也可能没有label。但是他跟我们现在要考虑的问题是没有什么特别的关系的，我们要分辨的是猫和狗的不同，但是这边有一大堆不相干的图片，它到底可以带来什么帮助。这个就是迁移学习要讲的问题。

2.6 Unsupervised Learning（无监督学习）

无监督学习与监督学习相比，训练集没有人为标注的结果（有些数据难以人工标注分类或标注分类成本太高）。无监督学习的典型学习算法是聚类（将相似的东西聚在一起，而不关心这一类是什么）。

更加进阶的就是无监督学习，我们希望机器可以学到无师自通。
function的输入不知道是什么，可能是某一个code代表要输出图片的特性，输出是一张图片。你给机器看到的只有非常大量的图片，只有function的input，没有output。机器要咋样生成新的图片，这是我们后面要解决的问题。

2.7 监督学习中的结构化学习

在监督学习的任务上我们讲了Regression、Classification，还有一类的问题是Structured Learning。

structured learning 中让机器输出的是要有结构性的。
举例来说：在语音辨识里面，机器输入是声音讯号，输出是一个句子。句子是要很多词汇拼凑完成。它是一个有结构性的object。或者是说在机器翻译里面你说一句话，你输入中文希望机器翻成英文，它的输出也是有结构性的。或者你今天要做的是人脸辨识，来给机器看张图片，它会知道说最左边是长门，中间是凉宫春日，右边是宝玖瑠。然后机器要把这些东西标出来，这也是一个structure learning问题。

2.8 Reinforcement Learning（强化学习）

通过观察周围环境来学习。每个动作都会对环境有所影响，学习对象根据观察周围环境的反馈来做出判断。

2.8.1 与监督学习区别

我们若将强化学习和监督学习进行比较时，在监督学习中我们会告诉机器正确答案是什么。若现在我们要用监督学习的方法来训练一个聊天机器人，你的训练方式会是：你就告诉机器，现在使用者说了hello，你就说hi，现在使用者说了byebye ，你就说good bye。所以机器有一个人当他家教在他旁边手把手地教他每件事情，这就是监督学习。
reinforcement learning是什么呢？在reinforcement learning里面，我们没有告诉机器正确的答案是什么，机器所拥有的只有一个分数，就是他做的好还是不好。若我们现在要用reinforcement learning方法来训练一个聊天机器人的话，他训练的方法会是这样：你就把机器发到线下，让他的和面进来的客人对话，然后想了半天以后呢，最后仍旧勃然大怒把电话挂掉了。那机器就学到一件事情就是刚才做错了。但是他不知道哪边错了，它就要回去自己想道理，是一开始就不应该打招呼吗？还是中间不应该在骂脏话了之类。它不知道，也没有人告诉它哪里做的不好，它要回去反省检讨哪一步做的不好。机器要在reinforcement learning的情况下学习，机器是非常intelligence的。 reinforcement learning也是比较符合我们人类真正的学习情景，这是你在学校里面的学习老师会告诉你答案，但在真实社会中没人回告诉你正确答案。你只知道你做得好还是做得不好，如果机器可以做到reinforcement learning，那确实是比较intelligence。

2.8.2 Alpha Go

若我们用Alpha Go当做例子时，supervised learning就是告诉机器：看到这个盘式你就下“5-5”，看到这个盘式你就下“3-3”。
reinforcement learning的意思是：机器跟对手互下，机器会不断的下棋，最后赢了，机器就会知道下的不错，但是究竟是哪里可以使它赢，它其实是不知道的。
Alpha Go其实是用监督学习加上reinforcement learning去学习的。先用棋谱做监督学习，然后再做reinforcement learning，但是reinforcement learning需要一个对手，如果使用人当对手就会很让费时间，所以机器的对手是另外一个机器。

---

3. 小贴士

大家注意一下这个不同的方块，我是用不同的颜色来表示。
同样的颜色不同的方块是同一个类型的，这边的蓝色的方块，指的是学习的情景，通常学习的情景是你没有办法控制的。比如，因为我们没有data做监督学习，所以我们才做reinforcement learning。现在因为Alpha Go比较火，所以Alpha Go中用到的reinforcement learning会被认为比较潮。所以说有学生去面试，说明自己是做监督学习的，就会被质疑为什么不做reinforcement learning。那这个时候你就应该和他说，如果我今天可以监督学习，其实就不应该做reinforcement learning。reinforcement learning就是我们没有办法做监督学习的时候，我们才做reinforcement learning。
红色的是指你的task，你要解的问题，你要解的这个问题随着你用的方程的不同，有regression、有classification、有structured。所以在不同的情境下，都有可能要解这个task。
最后，在这些不同task里面有不同的model，用绿色的方块表示。

---