一等奖3万元！AI4S Cup 系列比赛｜LLM挑战赛 - 大模型科学文献分析-CSDN博客

诚邀各位参加AI4S Cup——由北京科学智能研究院倾力打造的AI for Science领域算法竞赛。此次比赛汇聚行业精英，鼓励交流碰撞，共同探索和挑战AI赋能具体科学场景。期待您的智慧火花，共襄盛举！

幸运抽奖｜机器学习初学者粉丝专属福利，扫码抽4090显卡💗

📣 赛题介绍

大语言模型（LLMs）在自然语言理解和生成领域取得了显著进展，引发了将其应用于科学文献分析的广泛兴趣。阅读科学文献是科研工作中必不可少的一步，然而由于其存在长文本与多模态（文本、表格、图片、分子、反应式）的特性，对于大模型而言存在极大的挑战性。

为了推动 AI 技术应用于科学文献分析的发展，我们推出了最新的 SciAssess 评测基准。SciAssess 是专为全面评估 LLMs 在科学文献分析中表现而设计的基准测试。它涵盖了从基础科学到生物医药等多个科学领域的各种任务，主要评估 LLMs 在记忆（L1）、理解（L2）和分析推理（L3）方面的能力,并包括了文本、表格、图像、分子、反应式等多种模态。其包括总计5个领域，29种任务，6种模态的14721条题目。

请参考：

https://github.com/sci-assess/SciAssess

https://arxiv.org/abs/2403.01976

基于此基准测试，我们选取了其中的跨5个领域，5种模态的7个任务作为子集来评估本次比赛中模型在多样化的科学任务中的表现。

本次比赛采用封闭测评的方式，选手只能提交完整的模型文件与权重，在比赛方提供的封闭机器上进行测评。

比赛启动：2024.07.26

开放提交：2024.08.01

报名截止：2024.08.31

提交截止：2024.09.14

比赛结束：2024.09.15

🏆 奖项设置

AI4S Cup为北京科学智能研究院长期举办的系列比赛，各赛题将滚动进行。本赛题由北京科学智能研究院、深势科技共同发起，深势科技赞助，总奖金 8 万。奖项设置如下：

二等奖

2名

¥15,000

一等奖

1名

¥30,000

三等奖

4名

¥5,000

除了丰厚的奖金之外，本场赛事的选手均有机会获得：

算力体验金：所有报名选手均可获得 Bohrium® 平台 100 元算力体验金。
最佳 Notebook 奖：本次比赛需采用 Bohrium Notebook 提交完整的代码，我们鼓励选手在比赛期间将与赛事相关的内容以 Notebook 形式发布至案例广场，并添加AI4SCUP-LLM的标签。我们将给予点赞数最多的前三名 Notebook 作者各 1000 元机时奖励。
实习机会：优秀选手可获得相关机构的推荐实习机会，享受丰富研究资源的同时，与交叉学科领域的优秀伙伴一同学习成长。
颁奖活动：计划于2024科学智能峰会上为本次比赛的获奖选手设置颁奖环节，具体时间和形式另行通知。

📝 比赛规则

AI4S Cup 系列比赛均是代码赛机制，选手需在Bohrium® Notebook 平台上提交可运行并且成功生成预测结果文件的 notebook 代码。详情请参考《AI4S Cup 选手指南》。

组队规则

每支队伍最大人数为 5 人，最小人数为 1 人；
不允许私下相互共享代码，如果共享必须合并队伍。

提交规则

参赛作品必须通过 Notebooks 提交（可选是否公开）。为了在提交（commit）后激活“提交”按钮，必须满足以下条件：

CPU Notebook 运行时间不得超过 6 小时；
GPU Notebook 运行时间不得超过 6 小时；

禁用互联网访问；

允许使用免费且公开可用的外部数据，包括预训练模型，如果采用，则必须在提交的 notebook 中以Bohrium 数据集的形式将外部数据集公开分享，并勾选“允许阅读者在Notebook页面下载数据集”；

提交的文件必须按照“提交格式”一节中的要求正确命名；
每支队伍每天最多提交 2 次，队伍提交次数上限为 100 次；
提交代码运行时间超过 6 小时的为无效提交；
无效提交不占据总提交次数。

排名规则

A/B 榜评分规则：测试集分为 A/B 榜，A 榜数据占测试集30%，将实时计算排行榜指标 Acc_总并且显示排名；B 榜数据占测试集70%（以截止提交后公布为准），来源于举办方邀请行业专家手工标注的相同分布的数据集，B 榜排行榜指标 Acc_总为评选一、二、三等奖的唯一依据，将在比赛终止提交的一天后公布结果；

排名规则：Score > 提交次数 > 提交时间，相同 Score 下，提交次数越少的排名越靠前，相同 Score 和提交次数下，提交时间越早的排名越靠前；
每支队伍的队长可以指定最终两个 submission 为最终 B 榜排名依据，如无指定，则默认选择 A 榜成绩最高的 submission。

AI4S Cup 须知

开源精神是 AI4S Cup 的核心之一，在 AI4S Cup 系列比赛中：

代码提交要求。对于提交的代码，参赛者可以选择赛后开源或者不开源。但如果参赛者未按要求进行开源，则默认放弃参与评奖。如果参赛者选择赛后开源的，应当使用开源促进会批准的开源许可证 [1] 许可参赛作品中的代码。
比赛数据。"比赛数据”是指 Bohrium 网站上提供的用于比赛的数据或数据集（以下简称“举办方数据”）以及参赛者的参赛作品中使用的数据或数据集（以下简称“参赛者外部数据”）。

数据使用CC-BY-4.0[2] 协议许可参赛者进行访问和使用。举办方对此类数据保留全部所有权和知识产权，参赛者承诺不得将此类数据进行任何商业化使用。
参赛者外部数据集，本次比赛允许使用外部数据集，主要包括预训练模型权重、外部可公开获取的数据源等，但所有选手应当选用可自由公开获取的数据和数据集，不允许使用其他数据集。