本文是LLM系列文章,针对《Unifying Bias and Unfairness in Information Retrieval: A Survey
of Challenges and Opportunities with Large Language Models》的翻译。
统一信息检索中的偏见和不公平:大型语言模型的挑战和机遇调查
摘要
随着大型语言模型(LLMs)的快速发展,信息检索(IR)系统,如搜索引擎和推荐系统,经历了重大的范式转变。这种演变在预示着新机遇的同时,也带来了新的挑战,特别是在偏见和不公平方面,这可能会威胁到信息生态系统。本文对整合LLMs时IR系统中新出现的和紧迫的偏见和不公平问题的现有研究进行了全面的调查。我们首先将偏见和不公平问题统一为分布不匹配问题,为通过分布对齐对各种缓解策略进行分类奠定了基础。随后,我们系统地研究了LLM集成到IR系统的三个关键阶段(数据收集、模型开发和结果评估)产生的具体偏见和不公平问题。在此过程中,我们仔细回顾和分析了最近的文献,重点关注与这些问题相关的定义、特征和相应的缓解策略。最后,我们确定并强调了未来工作中的一些悬而未决的问题和挑战,旨在激励IR领域内外的研究人员和利益相关者更好地理解和减轻这个LLM时代IR的偏见和不公平问题。我们还始终如一地维护着一个GitHub存储库,用于存储这一不断上升的方向的相关论文和资源