总奖金4万美元！亚马逊KDD Cup 2024大模型在线购物竞赛正式启动

想拥有一个准确理解购物意图

还能陪你实时交流的购物助手吗？

亚马逊KDD Cup 2024

大模型在线购物竞赛

3月18日正式启动！

奖金丰厚，诚邀各位AI人才踊跃参与！

01

竞赛简介

KDD Cup是ACM知识发现与数据挖掘国际会议（KDD）的竞赛项目，是最具影响力和最受欢迎的数据挖掘竞赛之一。自1997年以来，每一届KDD Cup都吸引了世界各地的数据科学家、研究人员和工程师，在严格的比赛条件下，通过数据挖掘技术和算法来解决实际问题。KDD Cup的主题和任务涵盖了各种领域，包括社交网络、金融、医疗、电子商务等，参赛者需要通过数据挖掘和机器学习技术，从大规模的数据中发现规律和模式，得出有效的解决方案。KDD Cup不仅提供了一个展示最新技术和算法的平台，也为学术界和工业界之间的合作和交流提供了机会，促进了数据科学的发展。 

今年，亚马逊Rufus团队将主办一场面向大语言模型（LLM）的多任务在线购物竞赛。该竞赛将要求参与者基于通用知识LLM，将其适配到在线购物领域的独有概念和知识上，以理解在线购物中的各种实体并解决对应的实际问题，如产品、属性、评论、商品推荐等。挑战将于3月15日开始，7月10日结束。我们为该竞赛设置了总奖金共计41,500美元。期待您的参与！

竞赛网址：

https://www.aicrowd.com/challenges/amazon-kdd-cup-2024-multi-task-online-shopping-challenge-for-llms

02

赛题介绍

在线购物已成为现代人生活中不可或缺的服务。机器学习已被广泛应用于理解在线购物中的各种实体，如查询、浏览会话等，以推断用户的搜索和购物意图。然而，在线购物涉及到对各种购物实体的联合理解和推理，如产品、属性、查询、购买记录等，从而形成一个庞大的多任务学习问题。此外，随着业务扩张或新产品线的出现，新的购物实体和任务不断涌现，从而在这些新兴任务上产生了少样本学习问题。目前为止，很少有研究探讨在多任务、少样本学习场景下的在线购物任务。 

大语言模型 (LLM) 有潜力解决在线购物中的多任务、少样本学习问题。诸如ChatGPT，Claude的大语言模型可以熟练执行多种文本理解和生成任务，且需要少量数据样本，就可以执行以前未见过的任务。因此，如果我们为所有与购物相关的任务训练单个LLM，就可以减少为每个特定任务设计和训练模型的成本，以及在新任务上进行数据标记和重新训练的成本。此外，LLM还可以通过实时交互界面为用户提供购物推荐，从而改善客户的购物体验。然而，由于在线购物领域存在大量特殊的概念，短语（例如品牌，产品线）和知识（例如什么品牌生产什么商品），将通用领域LLM适配到在线购物领域仍然存在不小的挑战。 

为了将这一潜力转化为现实，亚马逊Rufus团队提出了ShopBench。ShopBench是一个多样化的多任务在线购物评测数据集，包括4个主要购物技能、57个任务以及约20000道测试题，全部从真实的亚马逊数据生成。我们将ShopBench中的所有任务转化为统一的文本生成格式，以适应基于LLM的解决方案的探索。通过ShopBench，我们希望评估四个重要的购物技能，它们将作为我们竞赛的四个子问题： 

• 子问题1: 购物概念理解 
  

• 子问题2: 购物知识推理

• 子问题3: 用户行为对齐

• 子问题4: 多语言能力 

此外，我们将这4个子问题合并成为全集问题。通过全集问题，我们希望参赛者用统一的解决方案解决子问题1-4中的所有试题，以进一步强调该竞赛的多任务属性和解决方案的灵活性。 

通过该竞赛，我们希望参赛者可以开发出针对实际问题的先进LLM技术，从而获得宝贵的上手经验。我们也希望该竞赛能够为整个面向用户(to-C)的互联网行业提供强大且有效的的基于LLM的解决方案。最后，我们也希望该竞赛能为整个机器学习社区提供关于LLM训练和垂直领域适配/微调的宝贵见解。

03

竞赛日程

竞赛将分为两个阶段。所有报名的队伍都可以参与第一阶段。第一阶段结束后，只有排名前25%的队伍可以进入第二阶段。ShopBench数据集也将被分为两个不相交的测试集。第二阶段使用的测试集将更难一些。最终的获胜者将仅由第二阶段决定。 

竞赛网站公开，接受参赛队伍注册：15th March, 2024 23:55 UTC

第一阶段开始: 18th March, 2024 23:55 UTC

报名截止，第一阶段截止：10th May, 2024 23:55 UTC

第二阶段开始: 15th May, 2024 23:55 UTC

第二阶段截止: 10th July, 2024 23:55 UTC

获奖者通知: 15th July, 2024

正式宣布获奖者: 26th August, 2024 (at KDD 2024)

04

奖金

我们准备了总额为$41,500的奖金，包括获胜者奖励，AWS积分，以及学生奖励：

• 每个子问题/全集问题的获胜者（第1，2，3名）会得到现金奖励；

• 随后的数个参赛队伍会得到AWS积分奖励；

• 学生奖励：训练LLM往往需要大量的计算资源和工程投入，对学生来说往往没有这样的条件。因此，为了鼓励学生参赛并提出高效解决方案，我们为每个子问题的最佳学生队伍（要求全部队员都是学生）准备了学生奖励。 

子问题1-4设置如下奖励：

🥇 第一名: $2,000

🥈 第二名: $1,000

🥉 第三名: $500

4-7名: AWS Credit $500

🏅 学生奖励: $750 

全集问题设置如下奖励：

🥇 第一名: $7,000

🥈 第二名: $3,500

🥉 第三名: $1,500

4-7名: AWS Credit $500 

🏅 学生奖励: $2,000 

以上奖励可以在不同子问题/全集问题间累计。例如，如果您的队伍在全集问题中获得第3名并在子问题1中获得第2名，您将得到$1,500 + $1,000=$2,500奖励。 

此外，获胜队伍将有机会在KDD Cup Workshop 2024中展示他们的解决方案。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

·

▼ 点击「 阅读原文」，立即报名