监督学习简介

监督学习简介

基本定义

       利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。监督学习是从标记的训练数据来推断一个功能的机器学习任务。

 

基本概念

1.     输入空间、特征空间和输出空间

        输入空间与输出空间可以是同一个空间，可以是不同的空间，但通常输出空间要远小于输入空间。每个具体的输入是一个实例（instance），由特征向量（feature vector）表示，这时，所有特征向量存在的空间称为特征空间(feature space)。特征空间的每一维对应于一个特征。模型实际上都是定义在特征空间上的。

        输入变量与输出变量均为连续的变量的预测问题称为回归问题，输出变量为有限个离散变量的预测问题称为分类问题，输入变量与输出变量均为变量序列的预测问题称为标注问题。

2.     联合概率分布

        监督学习假设输入与输出的随机变量X和Y遵循联合概率分布P（X，Y）（可以表示为分布函数，也可以表示为分布密度函数）。在学习过程中，假定这一联合概率分布存在，但对于学习系统来说，联合概率分布的具体定义是未知的。训练数据与测试数据被看作是依联合概率分布P（X，Y）独立同分布的产生的（每一个训练实例或者测试实例都是独立同分布的）。这是监督学习关于数据的基本假设。

3.     假设空间

       模型属于由输入空间到输出空间的映射集合（也不同于特征空间，有的时候，特征空间也可以看作是输入空间），这个集合就是假设空间，意味着学习范围的确定（其实就是模型的集合，朴素的观点就可以看作是问题求解函数的参数向量的集合，求解函数由一系列参数所决定，算法的作用就是如何找出效果最好的这一系列参数，也就是参数向量）

 

形式化描述

总结

监督学习方法是目前研究较为广泛的一种机器学习方法，例如神经网络传播算法、决策树学习算法等已在许多领域中得到成功的应用，但是，监督学习需要给出不同环境状态下的期望输出（即导师信号），完成的是与环境没有交互的记忆和知识重组的功能，因此限制了该方法在复杂的优化控制问题中的应用。

参考资料：

《统计学习方法》 李航著

 百度百科监督学习词条