2021-1-26-理解图像分布

第一种理解 

图像的分布归根结底是像素值服从某种分布。比如在用贝叶斯做语义分割中，假设有图像中有三种类别需要分割，可以分别假设属于这三种类别的像素值分别服从三个对应的分布。假设都是高斯分布，如下图所示。

在一张图片中，属于类别1的像素都是从分布1中采样得到的，同理属于类别2和3的像素分别是从分布2和3中采样得到的。我们通过给定的ground truth来计算出三个分布的参数，即三个高斯分布的均值和方差。然后在用模型做预测的时候，当拿到一张新的图片，我们从第一个像素开始，分别代入三个分布然后计算后验，通过计算后验概率的大小来判定该像素服从哪一个分布。通过遍历所有像素，就得到了一张图片的分割图。这种理解方式并没有用到图像中像素的位置信息，只用到了颜色信息。

第二种理解

图像的分布：假设彩色图像是64x64大小，则相当于图像的分布满足一个多变量分布函数，变量的总数是64x64x3。即每一个像素都是一个单变量分布，而整幅图像的所有像素构成了一个多变量分布。建模为多变量分布的好处之一是：帮助更好的formulate图像的生成过程。
 图像的生成，可以看作是从一个多变量分布函数中进行随机采样。当我们使用照相机拍了一张照片，也就相当于从自然界中采样了一张图像。
 另外，将图像的生成建模为多变量分布，可以利用“像素中间存在依赖关系”这一先验，完成“图像填充”、“图像分割”等任务。

 可以看出跟第一种理解不同的是，第一种理解是应用于语义分割的一种建模方式，所以事先就定义了像素有多少种类别，每种类别服从什么分布，当图像是灰度图时，每种类别的像素对应的随机变量都是一个1维随机变量，这个随机变量取某一个像素值都是都概率的，其分布即第一种理解中图片所示。重点在于当图像是RGB图时，每种类别对应的随机变量都是3维随机变量，他们对应的分布也是3维分布。而在第二种理解中，则没有多个类别的概念（即只有1个类别），可以认为整张图片就是一个超级大的像素，其服从一种类别分布，类比灰度图像像素只有1个维度，RGB图像有3个维度，而比如整张图片是64*64*3维的，则这个超大像素就是64*64*3维的，其服从一个64*64*3维的分布。类别第一种理解中，每种类别的像素都是从其对应的分布中采样得到的，而我们整张图像等价的这个超级大的像素，也是从其对应的那个多维分布中采样得到的。类别灰度图像中类别分布的函数图像中自变量是1维的，这里整张图像的分布对应的密度函数中自变量是64*64*3维度的。当然，第二种理解中也没有用到图像中像素的位置信息。总结，第一种理解中采样得到的样本是像素，第二种理解中采样得到的样本是图片（区分于1维或3维像素，可以看成是一个超多维的像素）

不同的光照，表情，姿态，会导致图像的分布不同。按照我的上边的第二种理解方式，每张图片只是真实分布的一个采样，我们仍假设图片大小是64*64*3维的，就假设图像服从最简单的高斯分布，这个高斯分布是64*64*3维的高斯分布，我们需要许多张图片才能计算出该高斯分布的参数，即这一类图片对应的分布。