POE在多模态融合方面的应用

一. POE概念函数解析

1. 高斯分布生成的观察单个数据点x的概率密度函数

这个函数可以预测每个数据点的生成概率。

2. 最大对数似然估计

        最大对数似然估计是一种利用已知的样本，找出最有可能生成该样本的参数（均值和方差）来形成概率模型的方法。最大化的意义就是让概率模型对于现存样本预测的总概率值最大化，换句话说，现在发生了某一事件，可以认为，这个时间是理论上概率最大的那个时间。所以使似然函数最大，也就是让现在发生的这个事件成为概率最大的事件。

        问题：方差和均值明明可以通过样本直接计算得到，为什么要借助最大似然估计？

        因为直接从样本计算的均值和方差反映了样本数据的实际情况，而通过最大似然估计反应了最有可能生成这些样本数据的概率模型的参数。

3. POE(Product Of Expert, 译为专家点积）

详见文章: PoE-SP.pdf (uva.nl)https://staff.fnwi.uva.nl/m.welling/wp-content/uploads/papers/PoE-SP.pdf

        这里expert（专家）的意思其实就是每种数据样本集所对应的概率密度函数。这里的点积对应了所有样本集的概率密度模型相乘, 参数代表每个概率密度模型中的参数。

  为了求出参数,使用最大似然估计法。

      

       Z为归一化因子,使得最终概率分布综合为1.

        最终,PoE模型通过将所有"专家"的输出（即它们的概率密度函数）相乘，生成一个新的概率分布。这个新的分布可以用来对整个输入数据集进行建模，或者生成新的数据。

二. POE函数应用多模态融合

详见文章:VMLoc: Variational Fusion For Learning-Based Multimodal Camera Localization
2003.07289.pdf (arxiv.org)https://arxiv.org/pdf/2003.07289.pdf        该模型将两个模态的潜在空间用POE融合,具体来说，每个"专家"都是一个概率模型，它们各自对输入数据的某些特性进行建模。然后，通过将所有"专家"的输出（即它们的概率密度函数）相乘，VMLoc生成一个新的概率分布。这个新的分布被用来将不同的传感器输入融合到一个共享的潜在空间。

        MLoc通过结合多个"专家"（即概率模型）的输出来建模复杂的概率分布。然后，这个新的概率分布被用来将不同的传感器输入融合到一个共享的潜在空间，从而实现多模态传感器数据的融合。