推荐系统相关研究进展
-
Correcting for Popularity Bias in Recommender Systems via Item Loss Equalization
-
EB-NeRD: A Large-Scale Dataset for News Recommendation
-
Leverage Knowledge Graph and Large Language Model for Law Article Recommendation: A Case Study of Chinese Criminal Law
-
Inductive Generative Recommendation via Retrieval-based Speculation
-
Bypassing the Popularity Bias: Repurposing Models for Better Long-Tail Recommendation
1.Correcting for Popularity Bias in Recommender Systems via Item Loss Equalization
Authors: Juno Prent, Masoud Mansoury
https://arxiv.org/abs/2410.04830
论文摘要
推荐系统(RS)常常受到流行偏见的困扰,其中特定一小组流行项目因互动频率高而主导推荐结果,结果忽略了许多不太流行的项目。这一现象对主流品味的用户尤为有利,而忽视了那些有小众兴趣的用户,导致用户之间的不公平,并加剧不同用户群体间推荐质量的差异。本文提出了一种处理该问题的方法,通过干预推荐模型的训练过程来实现。我们借鉴了机器学习中的公平经验风险最小化思想,在推荐模型的目标函数中增加一个额外的项,以期最小化训练过程中不同项目组之间损失值的差异。我们在两个真实世界的数据集上进行了广泛的实验,并与最新的基线进行了比较。结果表明,我们的方法在减轻流行偏见的不公平性方面表现出色,同时对推荐准确性的损失也微乎其微。
论文简评
该研究针对推荐系统中常见的流行度偏见问题,提出了一种新的方法——Item Loss Equalization(ILE),通过调整训练过程中的损失函数,实现了公平推荐的同时保持准确性。实验结果显示,ILE 方法在三个公开数据集上的表现优于现有方法,证明了其有效性和优越性。本研究为解决流行度偏见问题提供了新的思路,并对推荐系统的公平性和准确性提出了新的见解。
2.EB-NeRD: A Large-Scale Dataset for News Recommendation
Authors: Johannes Kruse, Kasper Lindskow, Saikishore Kalloori, Marco Polignano, Claudio Pomo, Abhishek Srivastava, Anshuk Uppal, Michael Riis Andersen, Jes Frellsen
https://arxiv.org/abs/2410.03432
论文摘要
个性化内容推荐在数字媒体的内容体验中发挥了关键作用,从视频流媒体到社交网络。然而,几个特定领域的挑战阻碍了推荐系统在新闻出版中的应用。为了解决这些挑战,我们引入了Ekstra Bladet新闻推荐数据集(EB-NeRD)。该数据集包含来自超过一百万独特用户的数据信息,以及超过3700万条来自Ekstra Bladet的曝光日志。同时,它还包括超过125,000篇丹麦新闻文章的集合,内容涵盖标题、摘要、正文及类别信息等元数据。
EB-NeRD作为RecSys '24挑战赛的基准数据集,展示了如何利用该数据集来解决在设计有效和负责任的新闻推荐系统时面临的技术及规范性挑战。
该数据集可在以下网址获取:https://recsys.eb.dk。
论文简评
本文介绍了一个名为Ekstra Bladet News Recommendation Dataset(EB-NeRD)的大规模数据集,该数据集包含了超过100万用户和超过3700万次曝光日志。其目的是解决新闻推荐系统中的技术性和规范性挑战,并为研究提供丰富的资源。数据集中包含详尽的用户行为日志和新闻文章的元数据,涉及超过125,000篇丹麦新闻文章,同时作为RecSys’24挑战的一个基准,验证了其应用的有效性和相关性。EB-NeRD数据集涵盖了广泛的用户互动指标和文章元数据,使其成为研究新闻推荐系统的重要资源。作者不仅强调了技术难题,还特别提到了对负责任推荐系统开发的需求,鼓励研究者在实践中考虑道德和社会责任。数据集被用于RecSys’24挑战的重要基准,证明了其在实际应用中的有效性和相关性,为未来的挑战提供了坚实的参考框架。
3.Leverage Knowledge Graph and Large Language Model for Law Article Recommendation: A Case Study of Chinese Criminal Law
Authors: Yongming Chen, Miner Chen, Ye Zhu, Juan Pei, Siyu Chen, Yu Zhou, Yi Wang, Yifan Zhou, Hao Li, Songan Zhang
https://arxiv.org/abs/2410.04949
论文摘要
法院的效率对社会稳定至关重要。然而,在世界上大多数国家,基层法院面临案件积压,判决过度依赖法官的认知劳动,缺乏智能工具来提高效率。为了解决这一问题,我们提出了一种利用知识图谱(KG)和大型语言模型(LLM)的高效法律条款推荐方法。首先,我们提出了一种案例增强法律条款知识图谱(CLAKG),用于存储现行法律法规、历史案件信息及法律条款与历史案件之间的对应关系。此外,我们引入了一种基于LLM的自动化CLAKG构建方法。在此基础上,提出了一种闭环法律条款推荐方法。通过一系列使用“中国裁判文书网”上的判决文书进行的实验,我们将案件的法律条款推荐准确率从0.549提高到0.694,表明我们所提出的方法显著优于基线方法。
论文简评
《基于知识图谱与大规模语言模型的法律条文推荐系统》综述了当前司法实践中的一个重要问题——法院效率低下,并提出了一个综合运用案例增强法条知识图谱(CLAKG)与大型语言模型(LLM)的系统,以提高法律建议的准确性。该系统旨在帮助司法人员利用历史案件信息和法律法规提供准确的法律建议。研究表明,新系统的准确性由0.549提升到0.694,显示出其有效性。
4.Inductive Generative Recommendation via Retrieval-based Speculation
Authors: Yijie Ding, Yupeng Hou, Jiacheng Li, Julian McAuley
https://arxiv.org/abs/2410.02939
论文摘要
生成推荐(GR)是一种新兴的范式,它将物品标记为离散的标记,并学习自回归地生成下一个标记作为预测。尽管有效,GR模型在特定设置中工作,这意味着它们只能生成在训练过程中见过的物品,而无法应用启发式重新排序策略。本文提出了SpecGR,这是一种即插即用的框架,能够使GR模型在归纳设置中推荐新物品。SpecGR使用具有归纳能力的“起草者”模型来提议候选物品,这些候选物品可能包括现有物品和新物品。然后,GR模型充当“验证者”,接受或拒绝候选项,同时保持其排名能力。我们进一步引入引导重起草技术,使所提议的候选项与生成推荐模型的输出更加一致,从而提高验证效率。我们考虑两种起草变体:(1)使用辅助的起草者模型以获得更好的灵活性,或(2)利用GR模型自身的编码器进行高效自我起草。在三个真实数据集上的大量实验表明,SpecGR表现出强大的归纳推荐能力,并在比较方法中显示出最佳的整体性能。我们的代码可在以下地址获取:https://github.com/Jamesding000/SpecGR。
论文简评
《SpecGR:通过抽屉验证增强生成推荐模型》综述了该研究的主要发现,并强调了其重要性。文章提出了一种名为SpecGR的方法,旨在通过引入归纳能力来提升生成推荐模型的表现。作者认为,SpecGR能够解决生成模型难以处理未见过商品的问题。
实验部分覆盖多个数据集,并与现有方法进行了比较分析,证明了SpecGR框架的有效性。此外,该文还提出了引导重绘的概念,以提高候选物品选择的效率,这是一个重要的创新点。
总的来说,本文提出的SpecGR框架为生成推荐模型提供了新的解决方案,在面对未见过商品时表现出显著优势。然而,尽管实验结果令人鼓舞,但对评估方法的清晰度和深度仍需进一步探讨。
5.Bypassing the Popularity Bias: Repurposing Models for Better Long-Tail Recommendation
Authors: Václav Blahut, Karel Koupil
https://arxiv.org/abs/2410.02776
论文摘要
推荐系统在塑造我们在社交媒体或内容平台上遭遇的信息中扮演着至关重要的角色,从而影响我们的信仰、选择和行为。许多近期的研究关注推荐系统中的公平性问题,通常集中在确保所有个体用户或用户群体平等获取信息和机会、促进多样化内容以避免过滤气泡和回声室、增强透明度和可解释性,以及遵循伦理和可持续的实践等主题。
本研究旨在实现在线内容平台上出版商之间更公平的曝光分配,特别关注那些生产高质量、长尾内容但可能受到不公平对待的出版商。我们提出了一种新颖的方法,通过重新利用现有的工业推荐系统组件,为代表性不足的出版商提供有价值的曝光,同时保持高质量的推荐效果。为了验证我们提案的有效性,我们进行了大规模的在线AB实验,报告了表明预期结果的结果,并分享了在生产环境中长期应用该方法的一些见解。
论文简评
本文针对推荐系统中常见的偏见问题——流行度偏差,提出了一种创新的方法来提高长尾内容发布者的曝光率。作者通过重新利用现有工业级推荐系统组件并对其进行优化,旨在提升内容曝光的公平性,特别是对于那些高质量但不太受欢迎的内容项。
主要内容及重点:
-
问题识别与背景: 文中首先明确指出,推荐系统的流行度偏差是一个重要且亟待解决的问题,影响内容的多样性与公平性。
-
创新解决方案: 作者提出了一种新方法,通过重新利用现有推荐系统中的组件来促进未被充分关注的发布者。这一方法不仅具有创意性,也为解决推荐系统中的不公平现象提供了一个新的视角。
-
实验验证: 为了评估该方法的有效性,作者进行了大规模在线A/B测试。结果显示,该方法显著提高了内容曝光的各项指标,充分证明了在实际应用中的可行性与有效性。
综上所述,本文利用创新技术手段解决了推荐系统中的重要问题,提供了实用的解决方案,并通过严格的实验验证展示了其效果。这一研究成果对改善推荐系统的公平性和多样性具有重要意义。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。