书生·浦语大模型实战营第二期（初夏专场）学习笔记：（七）OpenCompass 大模型评测实战

大语言模型评测中的挑战

大语言模型评测中有如下挑战：如何全方面评测大模型能力；大模型评测成本高；评测集存在数据污染；大模型的鲁棒性问题

OpenCompass评测流水线

OpenCompass通过将用户的评测请求切分为多个并行独立执行的任务，从而以最大化利用计算资源，同时还支持多种输出方案

课程链接：OpenCompass 大模型评测实战_哔哩哔哩_bilibili