书生·浦语集训营OpenCompass笔记

笔记

如何通过能力评测促进模型发展

• 面向未来拓展能力维度：评测体系需增加新能力维度如数学、复杂推理、逻辑推理、代码和智能体等,以全面评估模型性能。
• 扎根通用能力聚焦垂直行业：在医疗、金融、法律等专业领域，评测需结合行业知识和规范，以评估模型等行业适用性。
• 高质量中文基准：针对中文场景，需要开发能准确评估其能力的中文评测基准，促进中文社区的大模型发展。
• 性能测评反哺能力迭代：通过深入分析评测性能，探索模型能力形成机制，发现模型不足，研究针对性提升策略。

大语言模型评测中的挑战

• 全面性：大模型应用场景千变万化，模型能力演进迅速，如何设计和构造可扩展的能力维度体系。
• 评测成本：评测数十万道题需要大量算力资源，基于人工打分的主观测评成本高昂。
• 数据污染：海量语料不可避免带来评测集污染，亟需可靠的数据污染检测技术，如何设计动态可更新的高质量评测基准。

CompassKit：大模型评测全栈工具链

• VLMEvalKit多模态评测工具：一站式多模态评测工具，支持主流多模态模型和数据集，助力社区比较不同多模态模型在各种任务上的性能。
• Code-Evaluator代码评测工具：提供基于docker的统一编程语言评测环境，确保代码能力评测的稳定性和可复线性。
• MixtralKit MoE模型入门工具：为MoE模型初学者提供学习资料、模型架构解析、推理与评测等入门工具。

实战

studio-conda -o internlm-base -t opencompass
source activate opencompass
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .

安装环境

成功安装

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

接着解压测评数据集

并启动测评python run.py --datasets ceval_gen --hf-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 1024 --max-out-len 16 --batch-size 2 --num-gpus 1 --debug

查看配置时发现缺少依赖库

接着安装解决
还缺少mmengine
安装后成功解决

看来缺的不少。。。

决定安装requirements.txtpip install -r requirements.txt

在debug模式下评测 InternLM2-Chat-1.8B 模型

看样子还缺个protobuf

安装后报错

把教程上有的没有的坑全踩了一遍。。。
不管咋的还是成啦！