输入空间、输出空间、特征空间与假设空间是监督学习中的基本概念,我把它们放到一起方便记忆。
- 输入空间(input space):输入所有可能取值的集合
- 输出空间(output space):输出所有可能取值的集合
输入与输出空间可以是有限元素的集合,也可以是整个欧式空间(定义了內积的实线性空间),它们可以是同一个空间,也可以是不同的空间,通常,输出空间远远小于输入空间。 - 特征空间(feature space):所有特征向量存在的空间。每个具体的输入是一个实例,通常由特征向量表示。
例如:输入实例x的特征向量记作 x = ( x ( 1 ) , x ( 2 ) , … , x ( i ) , … , x ( n ) ) T x=(x^{(1)},x^{(2)},…,x^{(i)},…,x^{(n)})^T x=(x(1),x(2),…,x(i),…,x(n))T
其中,x(i)表示x的第i个特征向量,通常用xi表示多个输入变量中的第i个,多个这样的特征向量组成的空间就叫特征空间。 - 假设空间(hypothesis space):输入空间到输出空间映射的集合。这一映射由模型来表示,换句话说,这是学习模型的集合