对机器学习中概率分布的一些理解

如果有错误，欢迎指正。

 

概率分布一般可以看做是一个张量，也可以看成是一个点（把这个张量flatten之后，得到一个向量，这个向量可以看做是高维空间中的一个点）。

对于同一种类型的数据（比如同一个训练集的数据），假设它们都服从同一个概率分布。

对于其中的一个数据，可以看成是从这个分布上采样的点的概率的循序组合而成的向量（注意：这个向量上的所有的元素之和一般远小于1，因为这个分布在所有定义域上积分为1）。

所有的这些数据就组成了整个的分布。这个分布上的所有的数据都是同一种类型的数据。仅仅只是一个二维曲线就可以表示任意维度的数据（这是由以上的数据的采样方式的循序组合的性质决定的）。

 

如果模型学习到了这个分布（即：模型的输出的向量所表示的点在这个分布之上）。我们给模型输入一个随机噪声，模型输出的向量是和我们的训练集中的数据类似的数据（这是GAN的基本的思想）。

 

对于高维随机变量的介绍，可以查看下面的教材：

HDP-book.pdf (uci.edu)