论文阅读:从基于文档的 VQA 模型中提取训练数据
视觉语言模型(VLM)在基于文档的视觉问题解答(即回答以图像形式提供的输入文档内容的询问)方面取得了显著进展。在这项工作中,我们展示了这些模型可以记忆训练样本的回答,并在相关视觉信息被移除后仍能重复这些回答。这包括在训练集中重复一次的个人身份信息 (PII),表明这些模型可能会泄露记忆中的敏感信息,从而带来隐私风险。我们在受控实验中对信息的可提取性进行了定量测量,并区分了信息的可提取性是源于泛化能力还是源于记忆。
原创
2024-08-14 17:18:04 ·
333 阅读 ·
0 评论