监督学习中假设输入与输出的随机变量Ｘ和Ｙ遵循联合概率分布Ｐ(X,Y)的一种理解

联合概率分布的定义

• 联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X<4,Y<0}就是一个联合概率，表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）。（参考百度百科）

参数定义

• $X$ : 输入随机变量
• $Y$ : 输出随机变量
• $X_i$ : 随机变量$X$的一个具体取值
• $Y_i$ : 随机变量$Y$的一个具体取值
• $Input$ : 输入空间（特征空间）
• $Output$ :输出空间

问题描述

监督学习中假设输入与输出的随机变量$X和Y$遵循联合概率分布$P(X,Y)$

一种理解思路

• 对任意一个输入空间的随机变量$X_i$通常对应这输出空间的一个随机变量$Y_i$；也就是说$(X_i,Y_i)$是成对出现的。
• 所以设集合 Ω = { ( X i , Y i ) ∣ X i ∈ I n p u t ; Y i ∈ O u t p u t ; i = 1... n } \Omega=\{(X_{i},Y_{i})|X_{i}\in Input ; Y_{i} \in Output; i = 1 ...n\} Ω={(Xi​,Yi​)∣Xi​∈Input;Yi​∈Output;i=1...n};
• $\Omega$可以为有限集也可以为无穷集；在实际生活中,$\Omega$通常是无穷集或者更准确的说是不完全可测集，也就是说这个集合通常不能获得所有元素$(X_i,Y_i)$的观测值，一般我们只能获得其中的一小部分元素的观测值。我们要清楚，我们是使用少量的训练数据来构建模型，然后用该模型去预测那些我们不知道观测值的元素，因此如果我们已经知道$\Omega$所有元素的观测值，那么我们就没有预测的必要了。
• 令$S_{train},S_{test},S_{other}$分别为训练集、测试集、$\Omega$中除去$S_{train},S_{test}$剩余元素的集合。
• 上面三个集合的并集就是$\Omega$
• 对于三个集合中的任何一个元素或者说$\Omega$空间中的一个点都对应着一个概率值，并且这个概率值只与这个点本身有关，所以只要是空间中的一个点，就对应着一个$(X_i,Y_i)$并且对应着一个概率$P(X_i,Y_i)$表示这个点（$X_i,Y_i$）出现的概率。
• 所以简单的说就是，$X_i$总是以$P(X_i,Y_i)$的概率与$Y_i$同时出现。

其他的一些补充

• $S_{train},S_{test}$是在$\Omega$空间中的随机取样，应满足独立同分布。否则构建出的模型是无意义的。也就是说只有独立同分不布的训练集和测试集才能最接近的模拟处整个$\Omega$空间的分布。
• 我们使用模型对未知数据（只知道Ｘ的值但是不知道Ｙ的值）进行预测时，输出的点$(X_i,Y_i^{{}^{\prime }})$在模型正确的条件下不一定属于$\Omega$但其$\Omega$的距离是非常近的。