1.相关基本概念
输入空间
输入所有可能取值的集合称为输入空间
输出空间
输出所有可能取值的集合称为输出空间
特征空间
每个具体的输入是一个实例(instance),通常由特征向量表示。这时,所有特征向量存在的空间称为特征空间(feature space),特征空间的每一维对应于一个特征。
注意:输入空间和特征空间有时是相同空间,有时不是,不是的时候我们需要将实例从输入空间映射到特征空间(可以理解为数据的预处理),为什么要这么做?因为模型
实际上都是定义在特征空间上的!!这句话是什么意思?意思是模型的最终输入数据格式是以特征空间来表现的。
联合概率分布
统计学习假设数据存在一定的统计规律,X和Y具有联合概率分布的假设就是监督学习关于数据的基本假设。
假设空间
监督学习的目的是什么?目的在于学习一个由输入到输出的映射,这一映射由模型来表示。学习的目的就在于找到最好的这样的模型。而映射的集合就是假设空间。
重点
在学习过程中,学习系统利用给定的训练数据集,通过学习(或训练)得到一个模型,表示为条件概率分布P(Y|X)或决策函数Y = f(X)。条件概率分布P(Y|X)或决策函数Y = f(X)描述输入与输出随机变量之间的映射关系。
训练误差和测试误差