第二届世界科学智能大赛逻辑推理赛道:复杂推理能力评估 #大模型技术之逻辑推理方向 #Datawhale #夏令营-CSDN博客
这里在上一篇的基础上,已经充分理解了一遍baseline的流程,并修复了一些后处理的问题,包括答案抽取,中间结果记录与重试,提问合并,问题检查等等。本篇笔记主要探索模型的效果上限,方便在后续模型调优提供案例和额外数据。
开源模型效果对比
在未改变prompt的情况下,尝试对比了一些开源模型的效果:
模型 | score |
10b以下模型 | 0.6+ |
yi-34b-chat | 0.7041 |
qwen2-72b-instruct | 0.8614 |
qwen2-72b-instruct+yi-34b-chat | 0.8630 |
这里整理了一下复赛的一些要求:
- 本赛道复赛线上推理与评测时间限制为3个小时,镜像运行服务器为单卡V100(32G显存版本)
- 复赛环境网络配置:复赛采用镜像方式进行评测,容器中无可用网络,无法进行下载安装,外部API调用等操作。请选手提前将所需软件环境,数据,模型等装进镜像,不要在镜像中写入包含网络操作的代码,否则镜像运行会卡死或中断
- 为了不影响最后一周镜像的正常提交和运行,请将提交的训练代码包整体控制在50G以内。50G以内一般的模型限制在20b之内,例如书生·浦语2-20B,模型文件为40G。Qwen1.5-14b,模型文件为30G。推荐模型使用20b以下。
- 特别说明:参赛选手可以使用开源数据,若使用了开源数据,需要在代码审核阶段提供数据来源以及相关说明。
单独从模型大小来看:
50G的存储空间支持:20B模型(fp16),40B模型(int8),80B模型(int4)
32G的显存推理支持:60B(int4),30B(int8),15B(fp16)
32G的显存Lora finetune训练支持:15B(fp16)
接下来全力投入到训练和prompt优化过程,争取把15B以下左右的模型调到0.8的效果。