输入空间、输出空间、特征空间与假设空间的区分

前提：在此只讨论监督学习的情况。

一、输入空间

说白了，就是输入所有可能取值的集合。可以是有限个元素的集合，也可以是整个欧式空间（欧几里得发明的一个特别的度量空间）。

二、输出空间

同理，这肯定是与输入空间相对应的。就是输出所有可能取值的集合。同样也是：可以是有限个元素的集合，也可以是整个欧式空间。

三、特征空间

每个具体的输入是一个实例，通常由特征向量表示。

特征向量：

其中，A是一个方阵，也就是行数和列数相同的矩阵；是一个不为零的向量，一般是列向量；是实数。

接着说哈，这时候，所有的特征向量存在的空间成为特征空间。并且特征空间的每一维对应于一个特征。

注：有时候假设输入空间和特征空间是相同的空间，但有时候也假设他们是不同的空间，把实例从输入空间映射到特征空间。

四、假设空间

就是包含所有可能的模型的集合。模型就是输入空间到输出空间的一个映射。

由于笔者学识有限，有不够准确的地方还望大家不吝指教，谢谢。

如果有侵权的地方一定改之。

参考：《统计学习方法》