输入空间、输出空间、特征空间与假设空间

输入空间、输出空间、特征空间与假设空间是监督学习中的基本概念，我把它们放到一起方便记忆。

---

• 输入空间(input space)：输入所有可能取值的集合
• 输出空间(output space)：输出所有可能取值的集合
  输入与输出空间可以是有限元素的集合，也可以是整个欧式空间（定义了內积的实线性空间），它们可以是同一个空间，也可以是不同的空间，通常，输出空间远远小于输入空间。
• 特征空间(feature space)：所有特征向量存在的空间。每个具体的输入是一个实例，通常由特征向量表示。
  例如：输入实例x的特征向量记作 $$x=(x^{(1)},x^{(2)},\dots ,x^{(i)},\dots ,x^{(n)}{)}^T$$
  其中，x⁽ⁱ⁾表示x的第i个特征向量，通常用x_i表示多个输入变量中的第i个,多个这样的特征向量组成的空间就叫特征空间。
• 假设空间(hypothesis space)：输入空间到输出空间映射的集合。这一映射由模型来表示，换句话说，这是学习模型的集合