CMU：在RAG系统中实现公平排名

📖标题：Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation
🌐来源：arXiv, 2409.11598

摘要

🔸目前许多语言模型都加强了检索能力，从而普遍采用了检索增强生成（RAG）系统。然而，尽管检索是RAG的核心组成部分，但该领域的许多研究忽视了公平排名的广泛研究成果，忽略了考虑所有利益相关者的重要性。
🔸本文提出了第一个系统评估与公平排名集成的RAG系统。我们特别关注于测量RAG系统使用的排名中每个相关项目的公平曝光度（即项目方公平），旨在促进相关项目提供者的公平增长。为了深入了解RAG环境下项目公平性、排名质量和生成质量之间的关系，我们分析了九种不同的RAG系统，这些系统在七个不同的数据集上集成了公平排名。
🔸我们的研究结果表明，具有公平排名的RAG系统可以保持高水平的生成质量，并且在许多情况下，甚至可以胜过传统的RAG系统，尽管在确保公平和维护系统有效性之间存在一般的权衡趋势。我们相信我们的研究成果为负责任和公平的RAG系统奠定了基础，并为未来的研究开辟了新的途径。我们在https://github.com/kimdanny/Fair-RAG上公开发布了我们的代码库和数据集。

🛎️文章简介

🔸研究问题：在检索增强生成（RAG）模型中，如何评估和提升排序的公平性？
🔸主要贡献：论文通过引入随机排名器来增强RAG系统中的个体项目公平性，并评估了不同检索公平性水平对排名质量和生成质量的影响。

📝重点思路

🔺相关工作

🔸RAG：是一种特定类型的检索增强机器学习(REML)，已广泛应用于语言建模、问答、个性化和推荐，评估主要集中在其有效性，很少关注公平性。
🔸排名公平：通过基于规范问题的各种定义来实现，包括个人公平和群体公平。

🔺论文方案

🔸使用随机排名器（stochastic ranker）来替代传统的确定性排名器（deterministic ranker），以确保在多次用户请求中，相似项目能够获得相似的预期曝光。
🔸通过Plackett-Luce采样方法来实现随机排名，从而在期望中实现公平排名。
🔸定义并使用公平性指标（如Expected Exposure, EE）和排名质量指标（如Expected Utility, EU），以评估采样排名的公平性和质量。
🔸通过实验评估RAG系统在不同任务中的表现，观察检索公平性对排名质量和生成质量的影响。

🔎分析总结

🔸在机器用户的环境中，检索和生成质量之间存在公平性与质量的权衡，但这种权衡并不特别严重。
🔸配备公平排名器的RAG模型能够保持较高的检索和生成质量，甚至在某些情况下超过传统RAG系统的表现。
🔸传统的确定性排名器在RAG系统中可能不是最优的，公平排名可以在确保项目公平性的同时提高排名质量。

💡个人观点

论文的核心在于将公平排名概念引入到RAG系统中，并通过随机排名器来实现和评估公平性。

附录