【计算机视觉】复杂数据密度建模

最新推荐文章于 2024-02-25 14:39:22 发布

Swocky

最新推荐文章于 2024-02-25 14:39:22 发布

阅读量706

点赞数

分类专栏：计算机视觉文章标签：计算机视觉人工智能概率论机器学习

本文链接：https://blog.csdn.net/Swocky/article/details/104200260

版权

计算机视觉专栏收录该内容

12 篇文章 1 订阅

订阅专栏

前言

基于对书籍Computer Vision: Models, Learning and Inference第七章的阅读，主要是自己的一些心得体会，读起来确实比较吃力，有些地方理解不够深入还请见谅，如果以后想明白了一些问题可能还会继续完善。
本章主读完了感觉要还是机器学习的东西，贝叶斯、MAP、MLE之类的东西，公式基本也都是概率论和优化方面的。显然，虽有的复杂视觉数据都用正态分布来表示是不现实的，本章介绍的内容主要是是如何根据基础概率密度函数利用隐变量来构建复杂函数。

一、正态分类模型

以人脸检测为例，一般的思路是将一个窗口内RGB像素值合并为一个列向量，然后返回标签判断有没有人脸。其中似然函数一般用正态分布来描述，然而通过学习去估计相关的参数，最后通过贝叶斯公式进行推理。
但正态分布显然难以可靠地拟合数据。原因有以下三个：

正态分布式是单峰的，表示能力十分有限
正态分布不是鲁棒的，单个异常样本会显著的影响参数的估计
正态分布的参数太多，比如D = 10800维的数据其协方差矩阵有D(D+1)/2个参数

针对这些问题，依次采用高斯混合模型、t分布和子空间模型（例如：主成分分析、因子分析）。而这些模型都有一个共同点，引入了隐变量，而且模型的结构都很相似，所以可以使用通用的方法来学习参数。
使用这些更为复杂的模型，可以有效地表示视觉数据，然后进行训练和预测。

二、隐变量

机器学习课程讲GMM和EM的时候一般都会讲到隐变量。常见的特征就是全概率公式与边缘分布，参数估计的过程中往往对数化，也就是使用对数似然函数。直接求没有很好地闭式解，所以一般通过EM算法进行优化。

三、期望最大化

期望最大化（EM）算法通过对对数似然函数定义下界，并且迭代地增加下界，即先Expect，然后再Max。先用贝叶斯公式求后验分布，然后再最大化相对于参数的下界。

四、混合高斯模型

混合高斯模型在我看来就是不同高斯分布的加权和得到的一个更复杂的分布，图形化表示是复杂的多峰概率密度函数。由于直接进行参数估计难以得到闭式解，一般使用EM算法求解。其可以看做观测到的数据x与取值为h的离散隐变量联合概率分布的边缘概率。
EM算法在GMM的更新法则还是比较好理解的，根据每个分量的总贡献来更新权值，然后再通过权值来更新参数比如均值、方差，贡献越大最终的权重越大。
EM算法在拟合混合高斯时，有几点需要考虑：

不能保证找到非凸优化问题的全局解
必须预先指定混合分量的个数

五、t分布

t分布用于解决正态分布不鲁棒的问题，这由其分布本身的特点决定。类似于GMM，也是先边缘化然后通过EM算法进行拟合。

六、因子分析

开始看的时候没怎么理解，以为是PCA的另一种证明方法，后来发现根本不是一种算法。不过查了下资料貌似PCA无论在计算复杂度还是效果上都要好于因子分析。因子分析的目的是为了减少参数、降低维度。协方差矩阵参数过多，而使用对角阵却失去了像素值之间的关系，显然是不可取的，最后的选择用因子分析来在一定程度上减少参数。
分析因素利用全协方差模型定义了一个线性子空间。这个线性子空间是高维攻坚的一个子集，可以用一组固定基函数通过线性组合得到。其求解的过程与GMM、t分布一致，也是使用EM算法。
书上有个地方我觉得挺有趣的，就是因子分析与混合高斯的关系。混合高斯相当于很多正态分布的加权和，累加得到的结果类似于很多孤立的山峰，如果用无穷和也就是积分进行了替换，图形化看起来比较连续，再推广到高维上便是因子分析。因子分析我理解的也不是很透彻，有时间再进一步了解。

七、组合模型

可以看到，三者的构建十分类似，每个模型都是一组正态分布的加权和或者积分。混合高斯模型包含K个具有不同均值和方差的正态分布的加权和；t分布包含具有相同均值但不同方差的正态分布的无限加权和；因子分析模型是有不同均值但相同对角协方差的正态分布的无限加权和。所以将其进行组合便不足为奇，最终可以得到混合因子分析（MoFA）模型。