[WP] The 2nd World AI4S Prize-Logical Reasoning Track: Evaluation of complex reasoning ability

一、竞赛相关

竞赛link

二、成绩

初赛

docker能力太差，无法进入复赛… [已经在学习中了]

三、策略与感想

• 策略：修改baseline，力争高分
  1 增加了lora微调的轮数，从而得到一个更精准的模型，以下为submission时的训练参数：

args = TrainingArguments(
    output_dir="./output/Qwen2_instruct_lora",
    per_device_train_batch_size=1,
    gradient_accumulation_steps=4,
    logging_steps=100,
    num_train_epochs=3,
    save_steps=100, # 为了快速演示，这里设置10，建议你设置成100
    learning_rate=1e-4,
    save_on_each_node=True,
    gradient_checkpointing=True
)

2 模型选择
受限于算力和硬件影响，选择了参数量较小的开源模型Qwen2-7B-Instruct [同baseline]

四、如果时间充裕，还想做的操作

1 排在最前的就是学会docker，然后打包代码提交了…

2 使用参数量更大的模型，例如Qwen1.5-32B。我相信使用参数量更大的模型一定会增加acc。[其实竞赛群中的群友透露过了，32B是足以上0.8的]。受限于硬盘空间和算力，我没有这么做

3 RAG maybe。我是刚开始接触LLM，对RAG知识极少，故没有尝试这个技术。总结一下其实就是改了baseline的训练轮数…所以这篇WP也没什么可以和大家分享的，但是期待各位大佬提出新见解。

五、参赛代码开源：

Github