什么是监督学习

监督学习是从标注数据中学习预测模型，本质是学习输入到输出的映射的统计规律

（1）输入空间，特征空间和输出空间

在监督学习中，将输入与输出所有可能取值的集合分别称为输入空间和输出空间。输入与输出空间可以是有限元素的集合，也可以是整个欧式空间，也可以是不同的空间；但通常输出空间远小于输入空间。

每个具体的输入是一个实例，通常由特征向量表示。所有特征向量存在的空间成为特征空间。

督学习从训练数据集合中学习模型，对测试数据进行预测。训练数据由输入（或特征向量）与输出对组成，训练集通常表示为

                                       T =  

输入与输出对又称为样本或样本点。输入变量与输出变量均为连续变量的预测问题成为回归问题；输出变量为有限个离散变量的预测问题称为分类问题；输入变量与输出变量均为变量序列的预测问题称为标注问题。

（2）联合概率分布

监督学习假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y)。

（3）假设空间

 监督学习的目的在于学习一个由输入到输出的映射，这一映射由模型表示。模型属于由输入空间到输出空间映射的集合，这个集合就是假设空间。假设空间的确定意味着学习的范围的确定。

 （4）问题的形式化

监督学习利用训练数据集学习一个模型，再用模型对测试样本集进行预测。由于在这个过程中需要标注的训练数据集，而标注的训练数据集往往是人工给出的，所以称为监督学习。监督学习分为学习和预测两个过程，由学习系统和预测系统完成。