空间

输入空间+输出空间
监督学习中，输入与输出所有可能的取值集合称为输入空间与输出空间。
通常输出空间远小于输入空间
输入 ‘X’ 可能取值的集合就是输入空间。输入空间可以是有限集合空间，也可以是整个欧式空间。
输出‘Y’可能取值的集合就是输出空间。输出空间可以是有限集合空间，也可以是整个欧式空间。

特征空间
每一条样本被称作是一个实例，通常由特征向量表示，所有特征向量存在的空间称为特征空间。
特征空间有时候与输入空间相同，有时候不同（例如word embbeding），不同的情况是输入空间通过某种映射生成了特征空间。

对于上面讨论的输入空间，每个具体的输入就是一个实例（instance）,这个实例是由特征向量（feature vector）表示,其中x就是输入空间X中的一个输入实例，由n维特征向量组成（x(n)）；

  一般的，***用大写的X/Y代表输入输出空间，小写的x/y代表一个具体的输入输出实例***（标量或者向量）； 向量默认为列向量，   所以上图中对于x的输入向量用行向量转置的方式（符号'T'）来表示列向量

大写是表示空间，小写表示具体

PS:可以简单的理解为空间就是所有已有数据的集合更大，两者是包含关系。

联合概率分布
两个以上随机变量所组成的随机向量的概率分布称作是联合概率分布。
根据对象的类型可分为离散型随机变量以及连续型随机变量。
1）离散型随机变量的联合概率分布
举例：
假设X Y都是离散型分布：
X的分布如下所示：
X 0 1
p 0.4 0.6
Y的分布如下所示：
Y 0 1 2
p 0.25 0.5 0.25
因为X与Y相互独立，因此（X， Y）的联合概率分布为：
X\Y 0 1 2
0 0.1 0.2 0.1
1 0.15 0.3 0.15
根据上面XY的分布律可以求出：
P(X＜Y)=P(X=0，Y=1)+P(X=0，Y=2)+P(X=1，Y=2)=0.2+0.1+0.15=0.45

2）连续型随机变量的联合概率分布：
连续型随机变量的概率分布可以通过一个非负函数 f(x, y) 的积分来表示，f(x, y) 称作是联合概率密度函数。

假设空间
假设空间一般是对于学习到的模型而言的。模型表达了输入到输出的一种映射集合，这个集合就是假设空间，假设空间表明着模型学习的范围。

作者：0过把火0
链接：https://www.jianshu.com/p/39328aa37431
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。