监督学习

监督学习

监督学习(supervised learning)从训练数据（training data）集合中学习模型，对测试数据（test data）进行预测。

术语解释：
监督（ （supervised ）是指训练数据集中的每个样本均有一个已知的输出项（类标 label），也就是上述的输出 Y 值。
输入变量 X 和输出变量 Y 有不同类型，可以是连续的，也可以是离散的。人们根据输入、输出变量不同类型，对预测任务给予不同的名称：

• 对输入变量和输出变量均为连续变量的预测问题称为 回归（regression） 问题。
• 输出变量为有限个离散变量的预测问题称为 分类问题。
• 输入变量和输出变量均为变量序列的预测问题，称为 标注问题。
  以西瓜数据集为例：
  如果我们预测瓜是“好西瓜”或“坏西瓜”，这类的学习任务称为“分类（classification）”任务；如果想要预测的是连续值，比如根据上述的色泽、敲声判断西瓜的成熟度为 0.50,080等，此类学习任务称为“回归（regression）”。如果只涉及两个类别的分类我们称之为二分类（binary classification）任务，一个是“正类”（positive class），另一个是反类（negative class）。涉及到多个分类的问题称之为“多分类”（multi-class classification）问题。
  以（过滤）垃圾邮件为例：
  基于有类标的电子邮件样本库，可以使用监督学习算法训练生成一个判定模型，用来判别一封新的电子邮件是否为垃圾邮件；其中在用于训练的电子邮件样本库中，每一封电子邮件都已被准确地标记是否为垃圾邮件。监督学习一般使用离散的类标（class label），类似于过滤垃圾邮件的这类问题也被称为分类（classification）。

通俗易懂地讲：监督学习指的是人们给机器一大堆标记好的数据，比如一大堆照片，标记住那些是猫的照片，那些是狗的照片，然后让机器自己学习归纳出算法或模型，然后所使用该算法或模型判断出其他照片是否是猫或狗。代表的算法或模型有 Linear regression、Logistic regression、SVM、Neural network 等。如下图流程所示：

首先，我们使用带有类标的训练数据套用在相应的机器学习算法中上，经过训练得到一个预测模型，当有新数据来的时候，通过预测模型可以得到具体的输出类别或输出值。

1、利用分类对类标进行预测

输出变量为有限个离散值的情况称为分类问题（classification）
如果类别为正类或负类的时候，这个是一个二分类问题
如果类别是一个多类别的时候，这就是一个多分类问题。

分类问题包括了学习和分类两个过程：
（1） 学习：根据已知的训练数据集利用有效的学习方法学习一个分类器。
（ 2）分类：利用学习到的算法判定新输入的实例对其进行分类。

分类是监督学习的一个核心问题。在监督学习中，当输出变量 Y 取有限个离散值时，预测问题便成了分类问题。监督学习从数据中学习一个分类模型或分类决策函数，称为分类器（classifer），分类器对新的输入进行输出的预测（prediction），称为分类（classification）。

分类的类别是多个时，称为多类分类问题。
分类问题包括学习和分类的两个过程。在学习过程中，根据已知的训练数据集利用有效的学习方法学习一个分类器；在分类的过程中，利用学习的分类器对新的输入实例进行分类。

如上述的垃圾邮件就是一个 2 分类问题，使用相应的机器学习算法判定邮件属于垃圾邮件还是非垃圾邮件。如下图给出了 30个训练样本集实例：15个样本被标记为负类别（negative class）（图中圆圈表示）；15 个样本被标记为正类别（positive class）（图中用加号表示）。

由于我们的数据集是二维的，这意味着每个样本都有两个与其相关的值：
x1 和 x2 ，现在我们可以通过有监督学习算法获得一条规则，并将其表示为图中的一条黑色的虚线将两类样本分开，并且可以根据x1 和 x2值将新样本划分到某个类别中（看位于直线的那一侧）。

2、利用回归预测连续输出值

另一类监督学习方法针对连续型输出变量进行预测，也就是所谓的回归分析（regression analysis）。回归分析中，数据中会给出大量的自变量和相应的连续因变量（对应输出结果），通过尝试寻找自变量和因变量的关系，就能够预测输出变量。

如下图中，给定了一个自变量 x 和因变量 y，拟合一条直线使得样例数据点与拟合直线之间的距离最短，最常采用的是平均平方距离来计算。如此，我们可以通过样本数据的训练来拟合直线的截距和斜率，从而对新的输入变量值所对应的输出变量进行预测。

比如生活中常见的房价问题，横轴代表房屋面积，纵轴代表房屋的售价，我们可以画出图示中的数据点，再根据使得各点到直线的距离的平均平方距离的最小，从而绘制出下图的拟合直线。根据生活常识随着房屋面积的增加，房价也会增长。

回归问题的分类有：根据输入变量的个数分为一元回归和多元回归；按照输入变量和输出变量之间的关系分为线性回归和非线性回归（模型的分类）。

3、 标注问题

标注问题是分类问题的一种推荐，输入是一个观测序列，输出是一个标记序列或状态序列。标注问题的目标在于学习一个模型，使它能够对观测序列给出标记序列作为预测。

标注问题常用的方法有：隐马尔科夫模型、条件随机场。

自然语言处理中的词性标注就是一个标注问题：给定一个由单词组成的句子，对这个句子中的每一个单词进行词性标注，即对一个单词序列预测起对应的词性标注序列。

喜欢就点赞评论+关注吧

感谢阅读，希望能帮助到大家，谢谢大家的支持！