笔记
如何通过能力评测促进模型发展
- 面向未来拓展能力维度:评测体系需增加新能力维度如数学、复杂推理、逻辑推理、代码和智能体等,以全面评估模型性能。
- 扎根通用能力聚焦垂直行业:在医疗、金融、法律等专业领域,评测需结合行业知识和规范,以评估模型等行业适用性。
- 高质量中文基准:针对中文场景,需要开发能准确评估其能力的中文评测基准,促进中文社区的大模型发展。
- 性能测评反哺能力迭代:通过深入分析评测性能,探索模型能力形成机制,发现模型不足,研究针对性提升策略。
大语言模型评测中的挑战
- 全面性:大模型应用场景千变万化,模型能力演进迅速,如何设计和构造可扩展的能力维度体系。
- 评测成本:评测数十万道题需要大量算力资源,基于人工打分的主观测评成本高昂。
- 数据污染:海量语料不可避免带来评测集污染,亟需可靠的数据污染检测技术,如何设计动态可更新的高质量评测基准。
CompassKit:大模型评测全栈工具链
- VLMEvalKit多模态评测工具:一站式多模态评测工具,支持主流多模态模型和数据集,助力社区比较不同多模态模型在各种任务上的性能。
- Code-Evaluator代码评测工具:提供基于docker的统一编程语言评测环境,确保代码能力评测的稳定性和可复线性。
- MixtralKit MoE模型入门工具:为MoE模型初学者提供学习资料、模型架构解析、推理与评测等入门工具。
实战
studio-conda -o internlm-base -t opencompass
source activate opencompass
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
安装环境
成功安装
cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip
接着解压测评数据集
并启动测评python run.py --datasets ceval_gen --hf-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 1024 --max-out-len 16 --batch-size 2 --num-gpus 1 --debug
查看配置时发现缺少依赖库
接着安装解决
还缺少mmengine
安装后成功解决
看来缺的不少。。。
决定安装requirements.txtpip install -r requirements.txt
在debug模式下评测 InternLM2-Chat-1.8B 模型
看样子还缺个protobuf
安装后报错
把教程上有的没有的坑全踩了一遍。。。
不管咋的还是成啦!