机器学习系列（1）——机器学习介绍

Framework

以影像辨识为例，我们找个function输入一张图片，机器告诉我们这个图片里有什么样的东西。

在做这件事时，首先要准备一个function set（集合），这个function里面有成千上万的function。举例来说，这个function在里面，有一个f1，你给它看一只猫，他就告诉你输出猫，看到一只狗就输出狗。有一个function f2他很怪，你给他看猫，他说是猴子；你给它看狗，他说是蛇。总之，先假设我们手上有一个function set，这个function set就叫做model（模型）。

有了这个function set，接下来机器要做的事情是：他有一些训练的资料，这些训练资料告诉机器说一个好的function，它的输入输出应该长什么样子，有什么样的关系。你告诉机器说，现在这个影像辨识的问题里面，如果看到这个猴子图要输出猴子，看到这个猫的图也要输出猫，看到这个狗的图也要输出狗，这样才是对的。只有这些训练资料，你拿出一个function，机器就可以判断说，这个function是好的还是不好的。

机器可以根据训练资料判断一个function是好的，还是不好的。举例来说：在这个例子里面显然f1，他比较符合training data的叙述，比较符合我们的只是。所以f1看起来是比较好的，f2看起来是一个荒谬的function。以上讲的这个task叫做supervise learning。

如果你告诉机器input和output这就叫做supervise learning，还有其他不同的学习场景。现在机器有办法决定一个function的好坏。单光能够决定一个function的好坏是不够的，因为在你的function set里面，它有成千上万的function，所以我们需要一个有效率的演算法，它可以从function set里面挑出最好的function。一个一个衡量function的好坏太花时间，实际上做不到，所以我们需要一个好的演算法，从function set里面挑出一个最好的function，这个最好的function将他记为$f^{\ast }$。

找到$f^*之后，我们希望它应用到一些场景中，比如影像辨识，输入一张在机器没有看过的猫，然后希望输出也是猫。这样机器有举一反三的能力。

左边这个部分叫training，就是学习的过程，右边这个部分叫做testing，学好以后就可以拿他做应用。所以在整个machine learning framework整个过程分成了三个步骤。

1. 找一个function
2. 让machine可以衡量一个function是好还是不好
3. 让machine有一个自动的方法，有一个好演算法可以挑出最好的function

机器学习其实只有三个步骤，这三个步骤简化了整个process。

机器学习相关技术

监督学习

Regression是一种machine learning的task，当我们说：我们要做regression时的意思是，machine找到的function，他的输出是一个scalar，这个叫做regression。举例来说，做PM2.5的预测，也就是说要找一个function，这个function的输出是未来某个时间PM2.5的一个数值。机器要判断function明天上午的PM2.5的输出，你要提供给它一些资讯，他才能够猜出明天上午的PM2.5.你给它资讯可能是今天上午的PM2.5、昨天上午的PM2.5等等。这是一个function，它吃给它过去PM2.5的资料，它输出的是预测未来的PM2.5。

再就是Classification的问题，Regression和Classification的差别就是我们要机器输出的东西的类型是不一样的。在Regression中机器输出的是一个数值，在Classification里面机器输出的是类别。假设Classification问题分成两种，一种叫做二分类输出的是或否（Yes or No）；另一类叫做多分类（Multi-class），在Multi-class中是让机器做一个选择题，等于是给他多个选项，每个选项都是一个类别，让他从数个类别里选择正确的类别。

举例来说，二分类可以鉴别垃圾邮件，将其放到垃圾箱。其实就是需要一个function，它的输入是一个右键，输出为邮件是否为垃圾邮件。训练这样的function很简单，给他一大堆的Data并告诉他，现在输入这封邮件，你应该说是垃圾邮件，输出那封邮件，应该说它不是垃圾邮件。你给它够多的这种资料去学他就可以自动找出一个可以侦测垃圾邮件的function。
多分类的举一个文章分类的例子，现在网络上非常多的新闻，也许没有人会把所有的新闻看完，但希望机器自动把新闻做分类。这就需要一个function，它的输入是是一则新闻，输出是新闻属于哪个类别，我们要做的事情就是解这个选择题。若要训练这种机器纪要准备很多的训练资料（Training Data），然后给他新的新闻，它就能给你正确的结果。

以上讲的都是让machine去解的任务，接下来要讲的是在解任务的过程中第一步就是要选择function set，选不同的function set就是选不同的model。Model有很多种，最简单的就是线性模型，但我们会花很多时间在非线性的模型上。在非线性的模型中最熟的就是Deep learning。

在做Deep learning时，它的function是特别复杂的，所以它可以做特别复杂的事情。比如它可以做影像辨识，这个复杂的function可以描述pixel和class之间的关系。

半监督学习

以上我们讲的都是supervise learning（监督学习），监督学习的问题是我们需要大量的training data，training data告诉我们要找到function的input和output之间的关系。如果我们需要字啊监督学习下进行学习，我们需要告诉机器function的input和output是什么，这个output往往没有办法用很自然的方式取得，需要人工把它标注出来，这些function的output叫做label。
Semi-supervise learning可以减伤label的需求量。

假设需要机器鉴别猫狗的不同，想做一个分类器让它告诉我们，图片上是猫还是狗。你有少量的猫和狗的labelled data，但是同时你又有大量的Unlabeled data，但是你灭有告诉机器说哪些是猫哪些是狗。在半监督学习的技术中，这些没有label的data，它可能也是对学习有帮助。

迁移学习

另一种减少data用量的方向是Transfer learning。

假设我们要做猫和狗的分类问题，只有少量的有label的data。但是我们现在有大量的data，这些data中可能有label也可能没有label。但是它跟我们现在要考虑的问题没有什么特别的关系，我们要分辨的是猫和狗的不同，但是这边有一大堆其他动物的图片和动画图片。有这一大堆不相干的图片，也可以带来帮助。

无监督学习

更加进阶的就是Unsupervise learning，我们希望机器可以学到无师自通。
如果再完全没有任何label的情况下，到底机器可以学到什么样的事情。举例来说，如果我们给机器看大量的文章，之后他到底可以学到什么事情。
假设我们今天带机器去动物园让他看一大堆的动物，他能不能在看了一大堆动物以后，就学会自己创造一些动物。

监督学习中的结构化学习

Structured learning中让机器输出的是有结构性的。举例来说：在语音辨识里面，机器输入是声音讯号，输出是一个句子，句子是要很多词汇拼凑完成。它是一个有结构性的object。或者是说在机器翻译里面你说一句话，输入中文希望机器翻译成英文，它的输出也是有结构性的。或者现在做人脸辨识，给机器看张图片，他会知道分别是谁，并把这些东西标出来。这也是structured learning问题。

强化学习

在reinforcement learning里面，我们没有告诉机器正确答案是什么，机器所拥有的只有一个分数，就是他做的好还是不好。若我们现在要用reinforcement learning方法来训练一个聊天机器人的话，他训练的方法可能是这样：你把机器发到线下，让他和进来的客人对话，然后想了半天以后，最后仍旧勃然大怒的把电话挂掉。那机器就学到一件事情就是刚才做错了，但是他不知道哪里做错了，他就要回去自己想道理，是一开始就不应该打招呼吗？还是中间不应该在骂脏话之类的。他不知道，没有人告诉他哪里做的不好，他要回去自己反省检讨哪一步做的不好。