涵盖55场大型模型竞赛的全面汇总

玩转AI大模型

于 2024-09-04 10:10:00 发布

阅读量1.4k

点赞数 21

文章标签：人工智能深度学习 llama 零售汽车

本文链接：https://blog.csdn.net/2401_85375298/article/details/141885925

版权

目前的想法是收集尽可能的多收集市面上的大模型算法竞赛，后续再从这些比赛的应用范围以及获胜方案的视角，去稍微了解大模型技术。目前还出于收集比赛阶段，虽然还没整理完，但是先发出来，后续还会在本文继续补充比赛，以及一些外行人视角的小结。

也欢迎提供比赛链接，帮助我收集。

说明：严格来说，现在大部分NLP比赛获胜方案都是采用大模型，都可以理解为广义的大模型比赛。但我在收集的时候只是收集题目和内容介绍里明确要求使用大模型，以及一些文本生成、对话等明显必须采用大模型的比赛。其他的NLP传统任务比赛没有收集在内。

1.Kaggle

1.1LLM 20 Questions

"20个问题"是一个古老的推理游戏，你尝试在二十个问题或更少的问题中猜出一个秘密单词，只使用是非问题。玩家通过从一般到具体的提问来缩小问题范围，希望在最少的问题中猜出单词。

每个团队将由一个猜测者LLM组成，负责提问和猜测，以及一个回答者LLM，负责用"是"或"否"回答。通过策略性提问和回答，目标是让猜测者尽可能少的轮次内正确识别出秘密单词。

1.2 LMSYS - Chatbot Arena Human Preference Predictions

我们利用了从Chatbot Arena收集的大量数据集，在这个平台上，用户与两个匿名的LLMs聊天并选择他们更喜欢的回答。你在这个竞赛中的任务是预测用户在这些正面对决中会偏好哪个回答。

1.3 AI Mathematical Olympiad - Progress Prize 1

人工智能数学奥林匹克（AIMO）奖是一个新设立的1000万美元奖金基金，旨在激励公开开发能够在国际数学奥林匹克（IMO）中表现出色的人工智能模型，与顶尖人类参与者相媲美。这个竞赛包括110个类似于中级水平高中数学挑战的问题。

1.4LLM Prompt Recovery

自然语言处理（NLP）的工作流程越来越多地涉及到文本的重写，但关于如何有效地给大型语言模型（LLMs）提供提示（prompting），我们还有很多需要学习的地方。这个机器学习竞赛旨在以一种新颖的方式深入挖掘这个问题。比赛目标是：这个竞赛的目标是恢复用于转换给定文本的LLM提示（prompt）。

1.5LLM - Detect AI Generated Text

这个竞赛挑战参与者开发一个机器学习模型，该模型能够准确检测一篇文章是由学生写的还是由LLM生成的。竞赛的数据集包括学生撰写的文章和由多种LLM生成的文章的混合。

1.6 LLM Science Exam

本次挑战的数据集是通过给gpt3.5提供来自维基百科的一系列科学主题的文本片段，并要求它编写一个多项选择题（带有已知答案），然后筛选出简单问题来生成的。比赛任务是参赛者回答答案。

2.阿里云天池

2.1 SMP 2024大模型图分析挑战赛

本次比赛建议参赛选手以闭源大语言模型（GPT、Claude、Gemini等）为基础构建问答系统，让系统能够通过编写执行Python代码来回答用户提出的图分析相关的问题。本次比赛评估模型能力的赛题按照设计模型的能力不同，以及题目的难易程度，分为判断题、计算题、绘图题、综合题四种类型。

2.2 天池Better Synth多模态大模型数据合成挑战赛

Better Synth 是一项以数据为中心的挑战赛，考察如何合成与清洗图文数据以在多模态大模型上取得更优的图片理解能力。主办方提供候选种子数据集，要求参赛者基于种子数据集进行数据合成与清洗，产出一份基于种子数据集的更高质量、更多样性的数据集，并在给定计算约束下进行训练。主办方提供开发套件，要求参赛者在统一的框架和参数设置下进行模型训练和任务评测，公平对比数据导致的性能差异。

2.3 Modelscope-Sora挑战赛

Modelscope-Sora 是一项以数据为中心的挑战赛，考察对类Sora模型微调数据的分析、处理、清洗和生成能力。主办方提供候选微调数据集，要求参赛者通过数据分析、处理、清洗和生成等方法，产出一份基于候选数据集的更高质量的数据集，并在给定的计算约束下进行训练。主办方提供开发套件，要求参赛者在统一的框架和参数设置下进行模型训练和任务评测，公平对比数据导致的性能差异。

2.4 CCKS2024——大模型零样本知识抽取评测

在零样本知识抽取任务中，参与者面对的挑战是从给定的文本中识别和提取指定类型的信息，而无需依赖事先标注的训练数据。此任务要求模型能够理解和遵循抽取指令—一个明确的命令，指导模型找到并格式化所需信息。

2.5 CCKS2024——大模型知识编辑评测

知识编辑的目标是通过修改大模型中的特定知识以缓解知识谬误问题。知识编辑通常包含三个基本的设定：知识新增、知识修改和知识删除。知识新增旨在让大模型习得新知识。知识修改旨在改变已存储在大模型内部的知识。知识删除旨在让大模型遗忘已习得的知识。

2.6 CCF大模型安全挑战赛赛道2：内容安全检测器的红队攻击

主办方指定待攻击的安全检测器，参赛者需要构造query-response的pair（单轮对话），使得检测器错误判断response的安全性。query和response需构成流畅的对话。

2.7 优酷x天池「酷文」小说创作大模型挑战赛

基于给定测试集的文本创作任务，选手需要在初赛参考训练数据集的基础上补充数据集，任选35b或以下的开源模型进行模型训练，提升模型创作能力，完成800字左右的文本创作任务。

2.8 CCKS2024-TCMBench中医知识理解与推理能力评测——参数高效微调赛道|不微调赛道

TCMBench评测基准依托于中医执业医师资格考试的丰富题库，全面覆盖三大考试范围，包括中医基础理论、中医临床医学，以及西医与临床医学的综合内容以及16个核心考试科目，共计9,788道真题和5,473道练习题。TCMBench评测基准旨在深度评估和精准测量LLM模型对中医知识的掌握水平，以及模型在中医情境下的解释和推理能力。

2.9 AFAC2024挑战组-赛题三：AIGC金融多模态研究报告智能生成

本任务需要参赛队伍基于金融数据源（如：股票数据、新闻、年报、个股报告等，具体数据源信息在任务数据中描述），智能地生成投研报告。

2.10 CCKS2024——数字金融领域大模型能力评测

本比赛提出了本评测任务。任务包含六大场景（知识问答、文本理解、内容生成、逻辑推理、安全合规、AI智能体），涵盖多维度金融任务，有利于帮助快速评测LLM在金融领域的表现。

2.11 AFAC2024挑战组-赛题二:基于保险条款的问答

参赛者需要设计和训练一个智能问答模型，该模型能够准确理解不同保险产品条款中的内容，并对用户提出的有关保险条款的问题给予准确、清晰的回答。我们将提供一系列保险条款文档和相应的用户问答对作为训练数据。模型的性能将根据其准确性、响应时间和用户满意度进行评估。

2.12 AFAC2024挑战组-赛题一:金融工具学习

在本任务中，参赛者需要根据用户Query，从API集合中筛选出合适的API列表，生成正确的api调用逻辑和答案。参赛者可以充分利用给定的数据集，使用大模型设计最优指令以得到最好的生成结果。

2.13 CCF大模型安全挑战赛赛道1：通用的大模型目标劫持

主办方为大模型设定初始任务指令(Initial_prompt)和目标任务指令(Target_prompt)，参赛者劫持指令(hijack_prompt)，使大模型放弃初始任务而仅执行主办方指定的目标任务。

2.14 CCL2024-Eval 第二届汉语框架语义解析评测

框架语义解析（Frame Semantic Parsing，FSP）是自然语言处理领域中的一项重要任务，其目标是从句中提取框架语义结构，实现对句子中涉及到的事件或情境的深层理解。

本次评测设置了开放和封闭两个赛道，其中开放赛道的参赛队伍可以使用ChatGPT等大模型进行推理，但禁止对其进行微调，且需提交所使用的提示模板；封闭赛道中，参赛模型的参数量将会被限制。

2.15 BetterMixture - 大模型数据混合挑战赛

BetterMixture 是一项以数据为中心的挑战赛，考察对 LLM 微调数据的分析和组合能力。主办方提供若干候选微调数据集，要求参赛者通过数据分析，设计混合和采样策略，赋予每个候选子集一定的混合比例，并在给定的计算约束下，采样形成一份混合后的微调数据集。主办方提供开发套件，要求参赛者在统一的框架和参数设置下进行模型训练和任务评测，公平对比数据导致的性能差异。

2.16AICAS 2024大挑战：通用算力大模型推理性能软硬协同优化挑战赛

鉴于端侧设备大部分运行在基于Arm架构的CPU上，本届AICAS会议将使用ArmV9架构的倚天710CPU作为算力平台，开展通用大模型性能优化竞赛，目标促进和推动相关的技术研究发展。

2.17 通义千问AI挑战赛 - Code Qwen能力算法赛道

高质量的数据是大模型提升效果的关键，初赛阶段主要聚焦在如何通过 SFT 提升基础模型的代码能力。需要选手基于最新开源的 Qwen 1.8 模型作为基础模型，在我们提供的训练框架上自行进行数据收集与微调，训练完成后将进行自动评估，返回最终结果进行排名；复赛阶段我们将提供 GPU 算力（在线 API 的方式），参赛队伍将基于 Qwen-72B 模型进行 PEFT （lora）进行训练

2.18 2023博金大模型挑战赛

本次比赛要求选手基于https://modelscope.cn/organization/TongyiFinance或https://modelscope.cn/models/qwen/Qwen-7B-Chat/summary(不限制pretrain和chat)构建一个问答系统，问答内容涉及基金/股票/债券/招股书等不同数据来源。本次比赛赛题为统一的问题格式，但包含两类任务，数据查询任务和文本理解任务，分别考察选手基于大语言模型的结构化数据检索能力和长文本理解能力，赛事主办方并不会提供任务的具体类型，选手需要自行判断任务的类别，采用不同的技术方案，或者同时构建查询任务并汇总结果。

2.19 FT-Data Ranker：大语言模型微调数据竞赛 – 7B模型赛道|1B模型赛道

在本次比赛中，我们先关注fine-tuning数据，参赛者对指定原始数据集进行清洗、过滤和增强，然后利用新数据集按照指定流程对指定模型进行微调，并在测试集上进行性能排名。参赛者需关注如何直接地_处理数据_，在其它因素相同的条件下，间接调优模型拿到更佳排名。

2.20 2023全球智能汽车AI挑战赛——赛道一：AI大模型检索问答

本次比赛要求参赛选手以大模型为中心制作一个问答系统，回答用户的汽车相关问题。参赛选手需要根据问题，在文档中定位相关信息的位置，并根据文档内容通过大模型生成相应的答案。参赛选手将指定使用[通义千问]大模型进行比赛，在此模型的基础上搭建问答系统，并在主办方提供的算力资源和平台上进行模型的训练与调试。

2.21 CHIP2023-YIER医疗大模型

在这个任务中，模型将需要对医学术语、医学知识、临床规范诊疗和医学计算进行理解和逻辑推理。评测数据将基于真实临床情境进行构建，包括医学考研题、临床执业医师题、医学教材、医学文献/指南、公开医学病历等构建的一系列选择题。

2.22 SMP 2023 ChatGLM金融大模型挑战赛

本次比赛要求参赛选手以ChatGLM2-6B模型为中心制作一个问答系统，回答用户的金融相关的问题，不允许使用其他的大语言模型。

2.23 CCKS2023-PromptCBLUE中文医疗大模型评测基准—通用赛道|开源赛道

将CBLUE基准进行二次开发，将16种不同的医疗场景NLP任务全部转化为基于提示的语言生成任务,形成首个中文医疗场景的LLM评测基准。

3.百度飞桨AI Studio

3.1“百度搜索·文心智能体创新大赛”技术赛道：基于多工具调用的开放域问答智能体构建

本次比赛旨在通过开发基于 LLM Agent 的智能工具调用系统，提升LLM回答复杂问题的能力。参赛者的任务是开发一个基于LLM的Agent，在给定大量工具集合的条件下，智能地编排和调度这些工具，以回答开放域的复杂问题。LLM基座必须使用eb-系列。开发者必须使用ernie基座开发工具召回模块，为给定问题召回最相关的工具集合。工具召回模块可以使用nvidia加速套件进行推理加速。

3.2百度商业AI技术创新大赛赛道一：基于大模型的广告检索

本次比赛提供了百度真实的广告数据集，包含了海量的用户点击数据和广告特征。希望参赛者使用指定的生成式模型(Unimo-text-large) 或双塔模型（Ernie-3.0-xbase) 底座，采用双塔度量式检索或生成式检索建模广告召回任务，完成相关广告的召回。任务的目标是基于候选广告特征，在给定搜索词下预估最应召回的 K 个广告，评估召回率；选手同时需要考虑算法效果和算法性能，得分标准详见『评估指标』节。

3.3 百度商业AI技术创新大赛赛道二：广告图片描述生成

本赛道任务是广告图片描述生成，期望通过高质量数据和建模优化，提升图片描述的准度和完备性。本次任务提供百度商业真实的广告图片和图片中文描述，数据量级约100万，参赛者自行划分训练集和验证集。每条样本数据包括了三列，采用tab分割，分别为：* 图片id * 图片base64编码 * 图片的文字描述。如下图所示，通常包括了对图片中各个主体（人物的外貌、衣着、表情、物体颜色）、主体之间关系、背景、风格等细粒度描述。

4.科大讯飞iFLYTEK A.I.开发者大赛

4.1讯飞星火开源大模型推理挑战赛

本项竞赛要求基于讯飞星火开源-13B base或chat模型作为大模型底座，参赛者可以自由选择任何能够公开获取的数据进行训练，通过推理解码获取测试集回答，提交系统进行评分。参赛者需关注如何获取及清洗数据，在模型相同的条件下，通过高质量的数据微调拿到更佳排名。

4.2 基于星火大模型的实体识别效果突破挑战赛

本赛题要求参赛者基于大模型微调技术，利用自然语言处理技术，结合大模型微调的方法，能够自动识别文章中的实体，并提取出其相关属性，为各领域研究提供有效支持。赛事规定选手须在AI大赛参赛页面注册报名参赛，并前往讯飞大模型定制训练平台进行任务开发。

4.3 星火大模型驱动阅读理解题库构建挑战赛

本次竞赛要求参赛者基于大模型微调技术，微调适用于高考语文现代文阅读和英语阅读的QAG的大模型，完成输入文章输出问题与答案的任务。大赛将为参赛团队提供免费的模型微调服务平台。赛事规定选手须在AI大赛参赛页面注册报名参赛，并前往讯飞大模型定制训练平台进行任务开发。

4.4 基于星火大模型的群聊对话分角色要素提取挑战赛

从给定的<客服>与<客户>的群聊对话中, 提取出指定的字段信息.参赛选手需基于讯飞星火大模型V3.5完成任务。

4.5 基于大模型的微针技术文献信息智能提取挑战赛

参赛者需要设计一个人工智能模型，该模型能够阅读并理解给定的科研文献，并根据预设的指标从文献中提取相关信息。比赛将提供一系列科研文献基本信息和需要提取的指标列表。

4.6 基于大模型技术实现招标历史文件挖掘招标范本挑战赛

本次比赛需要参赛选手对给定的采购文件进行文件解读，学习与挖掘历史采购文件共性抽离框架进行建模。本次比赛为参赛选手提供了能源行业招标采购业务采购文件脱敏数据.

5 DataFountain

5.1大型语言模型的非结构化知识编辑

本赛题旨在解决大型语言模型在面对非结构化知识时的更新和编辑问题。本赛题任务要求参赛者开发有效的非结构化知识编辑方法，从非结构化数据中提取并编辑知识，以实现模型内部知识的快速更新。同时，编辑方法需确保不影响模型的整体性能和稳定性，能处理复杂多样的用户需求。比赛数据包括多样的非结构化文本，评测标准综合考虑词级别和语义相似度及子问题回答的正确性，以衡量模型的编辑效果。

5.2 基于大模型的文本内容智能评判

在文本生成领域，由于信息的多样性、主观性，以及评价标准的复杂性，传统自动化评估方法效果较差，灵活性不足，而人工评价方式效率低下，成本高昂，难以满足当前大规模的评判需求。因此，如何运用自动化、智能化的手段，实现对文本内容的高效评判，成为了业界亟待解决的问题。在此背景下，本赛题以“基于大模型的文本内容智能评判”作为主题，旨在借助大模型强大的语义理解能力和泛化能力，应对不同领域和场景的评判需求，同时精准对齐人类专家的评判标准，进一步提升评判的准确性和可靠性。

6. 粤港澳大湾区（黄埔）国际算法算例大赛

6.1多模态大模型数学推理能力强化

为了推动人工智能在数学推理方面的发展，本次多模态数理大模型挑战赛旨在鼓励开发能够直接理解图像输入且具有出色数学推理能力的人工智能模型。通过解决这个初始基准问题，从而促进多模态数理大模型领域的良性竞争与创新，共同推动人工智能模型在数学推理能力上的准确与可靠评估。

6.2 文生图中的双人一致性生成

为了推动扩散模型在模型个性化和可控生成技术的发展，我们组织了一个模型个性化比赛。本次比赛提供了开源框架diffusers和Comfyui，参赛选手可以利用任何可规模化复现的手段，基于赛方提供的任务要求，进行大模型的个性化生成和精细的生成控制。比赛的目标是寻找高效、准确、创意的个性化和可控生成方案，从而提升人工智能内容生成领域的研究水平。

6.3 多模态大模型学科能力综合强化

本次比赛的核心任务是利用提供的预训练大语言模型和视觉编码器，构建并优化多模态大语言模型。为了全面而客观地评估多模态大模型的性能，我们选用高中各学科的选择题进行测试，题目包含语文、数学、物理、化学、生物、政治、历史和地理八个科目，并涵盖示意图、折线图、地图、照片和几何图形等十二种图像类型。在本次比赛中，我们提供双语（中英）语言模型https://huggingface.co/fnlp/moss2-2_5b-chat作为基础语言模型，视觉表示模型采用https://huggingface.co/openai/clip-vit-large-patch14。为保证比赛的公平性，参赛者只能基于提供的预训练模型进行开发，禁止使用其他预训练模型。

6.4 多模态大模型算法安全加固技术

本次竞赛从真实性、安全性、鲁棒性、公平性、隐私保护五个维度评估多模态大语言模型的可信性，每个维度中包含多个任务进行评估，以充分全面地评估比较不同模型的可信性。为避免各支队伍在算力资源方面的差异带来的影响，本赛题要求使用LLaVA-v1.5-7B[3]的架构设计作为基础。本赛题将基于可信多模态大语言模型评测MultiTrust和相应的可信评测框架MMTrustEval开展测试。

6.5 基于大语言模型的数据库查询指令生成

以“基于大语言模型的数据库查询指令生成”为赛题，要求选手针对跨领域数据库，基于大语言模型实现从自然语言问题到数据库查询指令的Text-to-SQL多轮智能问答：

输入：用户问题和数据库列表以及相应的数据库描述文件。
输出：问题对应的数据库名称和对应的SQL语句。
目标：提高算法在测试集上输出的SQL查询结果精度。

7Biendata

7.1生成式 AI 应用竞赛：面向工业软件的代码生成

本次比赛分初赛和复赛两个阶段，各阶段将设置多道SCL编程题目，每道题目包含详细描述、函数名、输入输出形式。参赛者需利用大语言模型GLM-4，针对工业场景下的TIA Portal软件与SCL编程框架，基于自然语言需求描述生成功能符合要求的代码。

7.2 智谱 BigModel 开放平台客服微调大赛|第二季

在本次比赛中，参赛选手需要利用 http://bigmodel.cn 的“一键微调”功能，用 Lora 技术微调 GLM-4-Flash 模型，从而让微调出的模型可以更准确地回答关于智谱AI开放平台自身的相关问题。

8.蚂蚁ATEC前沿科技探索社区

8.1 大模型的知识引入

本赛题将考察选手如何在给定基座大模型和待引入到大模型中的知识语料中，设计引入方式，提升引入知识后的大模型在评测数据集上的表现。以老年人在支付宝中常用的服务类场景（如出行、办事等）为切入点，探索借助知识引入的大模型，如何在耗能少效率高的基础上为老年人提供更便捷的服务。基座大模型为标准Huggingface Transformer结构，选手可自行调整其权重。

8.2 大模型的工具学习

本赛题需要通过大模型来理解用户Query，并利用外部API的结果与用户进行多轮交互，最终帮助用户完成某个具体的任务。每个API的功能和所需要的参数都预先提供，大模型需要根据当前对话状态，选择合适的API，并提取对应的参数或进行反问。

8.3 AI生成新闻检测

本赛道希望参赛者能够：1.全面分析AI生成新闻与人工撰写新闻的特点；2.构建有效的检测模型来区分AI生成新闻与人工撰写新闻。

9.MGTV“马栏山杯”国际音视频算法大赛

9.1大模型逻辑推理

本赛题会提供若干情景猜谜游戏的逻辑推理题目，包含谜面和谜底。谜面会描述一个简单又难以理解的事件，谜底则是谜面的答案。用户可以询问任何封闭式问题来找寻事件的真相。本次任务，选手需要训练10b以下参数量的大模型来担任猜谜游戏的主持人，回答用户的问题，模型只能回答：是、不是、不重要、问法错误和回答正确。

9.2AIGC生成图像判定

本赛事要求参赛者设计并实现一种算法，目标是准确判定测试图像是真实图像还是由AI所生成的图像，生成方式包括但不限于GAN和Stable Diffusion等算法。

其他

1琶洲算法大赛GLM法律行业大模型挑战赛道

本次比赛目的是探究大语言模型在法律领域的应用。参赛者需基于GLM-4模型，制定一个可行的技术方案。该方案应利用大语言模型的语义理解和函数调用等功能，准确解析用户的自然语言查询，并通过访问相关法律数据库或API，提供以下服务：解答个人法律问题、查询案件相关信息、检索类似历史案件和分析司法数据以辅助决策。

2第二届世界科学智能大赛逻辑推理赛道：复杂推理能力评估

本次比赛提供基于自然语言的逻辑推理问题，涉及多样的场景，包括关系预测、数值计算、谜题等，期待选手通过分析推理数据，利用机器学习、深度学习算法或者大语言模型，建立预测模型。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓