低质量数据的多模态融合

低质量的数据融合是很有趣的方向，细分为4个：

• 噪声：学习如何减轻多模态数据中任意噪声的潜在影响。高维多模态数据往往包含复杂的噪声。多模态数据的异质性使其具有挑战性，同时也为通过探索不同模态之间的相关性来识别和减少潜在的噪声提供了机会。
• 数据不完整：使用不完整的多模态数据进行学习。
• 数据不平衡：如何减轻模式之间的偏见和差异的影响。例如，整体上视觉模态比听觉模态更有效，导致模型走捷径，缺乏对听觉的探索。虽然现有的融合方法表现出良好的性能，但在某些模式优先的应用中，它们的性能可能不如单模态主导模型。
• 质量动态变化的多模态数据：如何适应多模态数据质量动态变化的性质。在实践中，由于不可预见的环境因素或传感器问题，一种模态的质量往往因不同的样品而异。例如，在低光或背光条件下，RGB图像的信息量比热模态少。因此，在实际应用中，通过了解不同质量来动态集成多模态数据是必要的。