设置模态框开始是隐藏状态_用于分类和识别的多模态高维数据融合

摘要

提供了一种用于评估对象的身份的方法，该方法包括：将表示对象的特征信息转换为多个数学上定义的成分；将组件分为多个模态；为每个相应的模态产生相应的第一预测信息，其中，每个相应的模态的相应的预测信息是基于被分组到该相应的模态形式中的相应的分量的；基于针对多个相应模态产生的相应第一预测信息来产生第二预测信息。

发明背景

模式识别的先验方法存在缺点。模态识别的第一种方法仅使用一个维度，并且不需要融合步骤。模态识别的第二种方法将每个信息源视为一个模态，并且确实需要一个融合步骤。仅使用一个维度的模态识别的第一种方法可能会遭受“维数的诅咒”, 比如导致无效的特征到语义的映射以及无效的索引编制.。第二种方式识别方法，将每个信息源视为一种方式，可能由于信源之间的相互依赖性而出现不准确的情况。

对于不同的方式，分类数据的融合也存在缺点。假定已经获得了 D 模态，就需要 D 分类器来解释每种模态的数据。挑战在于融合 D 分类器以提供整体分类。由于 D 模态通常并不完全彼此独立，因此融合挑战更加严峻。例如，出于至少两个原因，PCA 和 ICA 通常无法完美地标识独立组件。首先，众所周知的 ICA 算法(例如，定点算法，Infomax，内核规范分析和内核独立分析)通常需要对独立分量 k 的数量进行良好的估计才能有效地找到它们。其次，ICA 通常会根据某些错误最小化准则进行最佳尝试，以找到与亲属有关的组件。尽管如此，所显示的结果组件仍可能表现出相互依赖性。

已经提出了用于多模式信息的各种融合策略，包括乘积组合、加权和、Voting 和 min-max 聚合。其中，乘积组合和加权和似乎是最受欢迎的融合方法。不幸的是，每种融合方法都存在重大问题。乘积组合规则是从贝叶斯角度来看的最佳融合模型，假设 D 模态彼此独立，并且可以精确估计每种模态的后验概率。但是，不幸的是，D 模态可能不会真正独立，并且我们通常不能以很高的准确性估算后验概率。总和策略对噪声的容忍度更高，因为总和不会像产品一样严重地放大噪声。但是，不幸的是，加权总和是一个线性模型，不能用来研究模态之间的相互依赖性。线性组合函数有局限性࿰