清华：多模态大模型可信度评估基准

📖标题：MULTITRUST: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models
🌐来源：arXiv, 2406.07057

🌟摘要

🔸尽管多模态大型语言模型（MLLM）在各种任务中具有卓越的能力，但它们仍然面临着重大的可信度挑战。然而，目前关于评估可信赖MLLM的文献仍然有限，缺乏对未来改进的全面评估。
🔸在这项工作中，我们建立了MultiTrust，这是第一个全面统一的MLLM可信度基准，涵盖五个主要方面：真实性、安全性、稳健性、公平性和隐私性。我们的基准采用了一种严格的评估策略，既解决了多模态风险，也解决了跨模态影响，包括32个不同的任务和自我策划的数据集。
🔸对21个现代MLLM的广泛实验揭示了一些以前未被探索的可信度问题和风险，突显了多模态带来的复杂性，并强调了先进方法提高其可靠性的必要性。例如，典型的专有模型仍然难以理解视觉上令人困惑的图像，并且容易受到多模式越狱和对抗性攻击；MLLM更倾向于在文本中披露隐私，即使在推理中与无关的图像配对，也会揭示意识形态和文化偏见，这表明多模态放大了基础LLM的内部风险。
🔸此外，我们发布了一个可扩展的工具箱&#