基础任务五 OpenCompass 评测 InternLM-1.8B 实践
文章目录
1 认识评测的重要性和挑战
1.1 如何评测大模型
按照模型分，可以分为：
- 基座模型：海量数据无监督训练
- 对话模型：指令数据有监督微调 SFT，人类偏好对齐 RLHF
按照模型获取方式分：
- 公开权重的开源模型：使用 GPU/推理加速卡本地推理
- API模型：发送网络请求获取回复
按照评测方式分：
- 客观回答题
- 客观选择题
- 开放式主观回答
特别的评测方式，比如长文本评测/大海捞针：举个例子，在《动手学深度学习》这个长文本数据中某个位置插入一句话“小明在 Shanghai AI Lab”实习，然后询问模型：小明在哪里实习？如果模型回答正确，那么这个模型的长文本能力是不错的，在读完这么多的内容后还能够记住这句话。这就是我们所说的“大海捞针”的检测方法。
1.2 OpenCompass2.0司南大模型评测体系开源历程
1.3 OpenCompass生态
- CompassRank：中立全面的性能榜单
- CompassHub：大模型评测社区
- CompassKit：大模型评测全栈工具链
1.4 CompassBench
CompassBench 闭源评测集含有多种客观评测问题，以选择题和填空题形式考察，范围涵盖：语言，知识，推理，数学，代码，智能体等。
基于司南评测模型性能评测，
- 现阶段大模型整体能力仍有较大提升空间，GPT-4o-20240513 在客观评测基准中也仅仅获得 64/100 分；
- 近期国产商业闭源大模型多个维度上缩小了和 GPT-4 的差距；
- 国内模型在中文场景具有媲美 GPT-4 的性能优势，部分模型实现了单个维度上对 GPT-4 的超越；
- 开源模型未来可期，Llama3、Qwen1.5、Ti1.5、InternLM2 等开源模型具有优秀的综合对话体验，部分接近商业模型；
- 国内模型在复杂推理上和 GPT-4 仍存在较大差距，并且和模型尺寸存在较强相关性。
1.5 大模型发展趋势分析
模型尺寸逐渐收敛，大小模型并重
- 端侧将更加注重高推理速度、特定场景性能优异的 2B 一下小模型；
- 云端服务集中 70B-100B，具有性能与推理成本的较好平衡；
- 头部模型的核心技术竞争主要在于千亿大模型，面向AGI持续探索涌现能力；
Dense稠密和MoE混合专家之争仍需探索
- 模型宏观架构路线探索尚未收敛
- Dense具有更好的推理效率，MoE具有更强模型潜力
长文本能力日益重要，基础结构多路线并行
- 各类复杂应用场景对模型长文本能力有要求
- 高效注意力机制和 RNN类模型，在超长文建模上仍具有潜力
复杂推理和智能体应用仍需技术突破
- 现有模型在多步复杂推理和各类交互智能体应用中等具有较大性能提升空间
- 模型架构，合成数据探索，智能体系统设计等仍具有大量技术难点亟需攻关
基于模型的评价将成为主流
- 在专业知识领域，普通人类标注的准确率可能相比先进大模型无显著优势
- 随着大模型能力增强，使用模型对待测试模型进行性能评估逐渐成为可能
2 OpenCompass大模型评测体系
OpenCompass司南 大模型评测体系致力于构建科学、领先、公平的大模型评测体系，携手行业助力通用人工智能发展。
- CompassAcademic 基准选择策略：被学术社区广泛使用，可反映模型能力差距，支持知识、理解、对齐、推理、语言等方面的评估；
- OpenCompassBench 闭源评测：评测大模型的基础能力如语言、知识、理解、数学、代码、推理，综合能力则结合了多种基础能力形成如考试、对话、创作、工具、评价、长文本等，同时其评测基准具有特别的更新机制；
- CompassArena大模型竞技场：接入国内外 20+主流模型，欢迎社区参与投票；
- CompassResearch：发表多种评测benchmark，比如 MMBench视觉语言模型综合评测基准，获得多个主流开源模型采用；还提出 MathBench多层次数学能力评测基准，NeedleBench百万长上下文大海捞针，CIBench代码解释器能力分析基准，BotChat大模型多轮对话评测基准等。
3 下一代LLM评测体系发展方向
- 面向 AGI的评测体系设计
- 大模型动态评测自动化构建策略
- 复杂智能体评测系统
- 模型性能Scaling Law分析与探索
- 能力来源与泛化性分析
- 可靠的自动化主观评测
4 OpenCompass 评测 InternLM-1.8B 实践
在 OpenCompass 中评估一个模型通常包括以下几个阶段：
配置 -> 推理 -> 评估 -> 可视化。
配置 这是整个工作流的起点。您需要配置整个评估过程，选择要评估的模型和数据集。此外，还可以选择评估策略、计算后端等，并定义显示结果的方式。
推理与评估 在这个阶段，OpenCompass 将会开始对模型和数据集进行并行推理和评估。推理阶段主要是让模型从数据集产生输出，而评估阶段则是衡量这些输出与标准答案的匹配程度。这两个过程会被拆分为多个同时运行的“任务”以提高效率。
可视化 评估完成后，OpenCompass 将结果整理成易读的表格，并将其保存为 CSV 和 TXT 文件。
下面将使用 OpenCompass 的基础用法进行 InternLM2-Chat-1.8B 在 C-Eval 基准任务上的评测，更多评测技巧可以查看 OpenCompass 快速开始
4.1 环境配置
选择 cuda11.7-conda 镜像，10% GPU A100 后配置环境
conda create -n opencompass python=3.10
conda activate opencompass
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c p`在这里插入代码片`ytorch -c nvidia -y
# 注意：一定要先 cd /root
cd /root
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
apt-get update
apt-get install cmake
pip install -r requirements.txt
pip install protobuf
4.2 评测数据集准备
解压评测数据集到特定位置
cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip
ceval数据集的部分评测数据如：
会计
id,question,A,B,C,D,answer,explanation
0,甲公司是国内一家上市公司。甲公司对其各子公司实行全面预算管理，并通常使用增量预算方式进行战略控制，子公司预算需要经甲公司预算管理委员会批准后执行。2015年10月，甲公司投资了一个新的项目乙(子公司)。2015年11月，甲公司启动2016年度预算编制工作，此时甲公司应要求乙公司编制____。,增量预算,零基预算,固定预算,弹性预算,B,1. 乙公司属于甲公司全新的子公司，在启动2016年度预算编制工作时没有可以参考的基数，预算编制者必须根据自己的经验和判断，加上对周围环境变化的预期来做预算。因此，乙公司应编制零基预算。
1,债务人转让全部合同义务的，下列说法不正确的是____。,须债权人同意方可进行,新债务人可主张原债务人对债权人的抗辩,债务人转移债务的，原债务人对债权人享有债权的，新债务人可以向债权人主张抵销,非专属于原债务人自身的从债务，一并转让给新债务人,C,"1. 首先，债务人将债务的全部或者部分转移给第三人的，应当经债权人同意，因此选项A正确。
2. 其次，债务人转移债务的，新债务人可以主张原债务人对债权人的抗辩；原债务人对债权入享有债权的，新债务人不得向债权人主张抵销，因此选项B正确，选项C错误。
3. 然后，债务人转移债务的，新债务人应当承担与主债务有关的从债务，但是该从债务专属于原债务人自身的除外，因此选项D正确。"
2,某公司2012年以150万元的价格进口了1台仪器；2014年6月因出现故障运往日本修理(出境时已向海关报明)，2014年10月，按海关规定的期限复运进境。此时，该仪器的国际市场价格为200万元。若经海关审定的修理费和料件费为40万元，运费为1.5万元，保险费用为2.8万元，进口关税税率为6%。该仪器复运进境时，应缴纳的进口关税为____万元。,9,3,2.4,12,C,"1. 根据海关规定，运往境外修理的机械器具、运输工具或其他货物，出境时已向海关报明，并在海关规定期限内复运进境的，应当以海关审定的境外修理费和料件费为完税价格。
2. 境外修理费和料件费为40万元，进口关税为6%，因此应缴纳的进口关税为40×6%=2.4(万元)。"
3,公开发行公司债券，证监会同意注册的决定自作出之日起一定期限内有效，发行人应当该期限内发行公司债券。该期限是____。,6个月,1年,2年,3年,C,1. 中国证监会同意注册的决定自作出之日起2年内有效，发行人应当在注册决定有效期内发行公司债券，并自主选择发行时点。
4,某集团公司在一家银行开设了许多不同的银行账户，那么，该集团公司可以要求银行在考虑其利息及透支限额时将其子公司的账户余额集中起来。下列不属于现金余额集中的好处是____。,盈余与赤字相抵,加强控制,增加投资机会,匹配,D,1. 现金余额集中的好处包括盈余与赤字相抵、加强控制和增加投资机会；匹配，是汇率风险管理中的一项原则，可能与现金余额的集中相冲突，不是现金余额集中的好处。
文学研究
id,question,A,B,C,D,answer,explanation
0,王利发是老舍戏剧作品____中的主人公。,《茶馆》,《龙须沟》,《方珍珠》,《女店员》,A,1. 王利发是老舍的代表作《茶馆》中的主人公。
1,《等待戈多》的作者是____。,加缪,贝克特,阿尔比,尤奈斯库,B,1. 《等待戈多》是1952年法国剧作家贝克特创作的荒诞派戏剧作品。
2,____创作了舞蹈《马赛曲》等作品，被现代舞蹈家们奉为精神领袖，誉为“现代舞之母”。,露丝·圣丹尼丝,安娜·巴普洛娃,玛莎·格雷姆,依莎多拉·邓肯,D,1. 依莎多拉·邓肯是美国现代舞的先驱人物，被誉为“现代舞之母”，最著名的代表作有《马赛曲》、《国际歌》、《少女死亡之舞》等。
3,____创立了“叙事体戏剧”理论,布莱希特,萨特,格洛托夫斯基,贝克特,A,1. “叙事体戏剧”理论是德国剧作家布莱希特提出的一种不以感情共鸣为目的和手段的戏剧形式。
4,“伊莎多拉·邓肯”通过研究____创造了现代舞的表演风格。,奥托艺术,巴洛克艺术,古希腊艺术,拜占廷艺术,C,1. 美国女舞蹈家伊莎多拉·邓肯被公认为是西方现代舞的创始人，她把古希腊艺术中的文物、雕塑当作寻求新舞蹈理想姿态的源泉，从自然界寻找舞蹈动律的启示。
高等数学
id,question,A,B,C,D,answer,explanation
0,求极限：$\lim_{x\rightarrow0}\frac{\tan\left(\tan x\right)-\sin\left(\sin x\right)}{\tan x-\sin x}=$____,-1,0,2,$\frac{1}{2}$,C,"1. 首先，观察表达式，对上述表达式进行拆分，$L=\lim_{x\rightarrow0}\frac{\tan\left(\tan x\right)-\sin\left(\sin x\right)}{\tan x-\sin x}=\lim_{x\rightarrow0}\frac{\tan\left(\tan x\right)-\tan\left(\sin x\right)}{\tan x-\sin x}+\lim_{x\rightarrow0}\frac{\tan\left(\sin x\right)-\sin\left(\sin x\right)}{\tan x-\sin x}=L_1+L_2$
2. 其次，计算$L_1$。有命题：设$F(x)$在$x=0$的邻域内可导，且$\lim_{x\rightarrow 0}F'(x)=A$；又设$\lim_{x\rightarrow 0}f(x)=\lim_{x\rightarrow 0}g(x)=0$，且对$0<\left|x\right|<\delta$有$f(x)\neq g(x)$成立，则：$\lim_{x\rightarrow 0}\frac{F\left[f(x)\right]-F(g(x))}{f(x)-g(x)}=A$。对于$L_1$，令$F(x)=\tan x$，$f(x)=\tan x$，$g(x)=\sin x$，$F'(x)=\sec^2 x$，$\lim_{x\rightarrow 0}F'(x)=\sec^20=1$。于是有$L_1=\lim_{x\rightarrow 0}F'(x)=1$。
3. 接着，计算$L_2$。有命题：设$\lim _{x\rightarrow 0}\frac{F(x)}{x}=1$，函数$f(x)$，$h(x)$在$x=0$的邻域附近解析，$h(x)\not\equiv 0 $，则：$\lim_{x\rightarrow 0}\frac{f[F(x)]}{h(x)}=\lim_{x\rightarrow 0}\frac{f(x)}{h(x)}$。对于$L_2$，令$F(x)=\sin x $，$f(x)=\tan x $，$g(x)=\sin x$，$h(x)=\tan x-\sin x$，且$\lim_{x\rightarrow 0}\frac{F\left(x\right)}{x}=\lim_{x\rightarrow 0}\frac{\sin x}{x}=1$，则有$L_2=\lim_{x\rightarrow 0}\frac{f[F(x)]-g[F(x)]}{h(x)}=\lim_{x\rightarrow 0} \frac{\tan x-\sin x}{\tan x-\sin x}=1$。
4. 最后，$L=L_1+L_2=1+1=2$。"
1,求极限：$\lim_{n\rightarrow\infty}\left(1-\frac{1}{1+2}\right)\left(1-\frac{1}{1+2+3}\right)\cdots\left(1-\frac{1}{1+2+\cdots+n}\right)=$____,$\frac{2}{3}$,$\frac{1}{2}$,$\frac{5}{6}$,$\frac{1}{3}$,D,"1. 首先，利用等差数列求和公式分析题目中表达式的第n项，可以发现：$1-\frac{1}{1+2+\cdots+n}=1-\frac{1}{\frac{n(n+1)}{2}}=\frac{(n-1)(n+2)}{n(n+1)}$，其中$n\ge 2$。
2. 其次，将第1步中的表达式代入原式，有$L=\lim_{n\rightarrow\infty}\left(1-\frac{1}{1+2}\right)\cdots\left(1-\frac{1}{1+2+\cdots+n}\right)=\lim_{n\rightarrow \infty}\frac{1\cdot4}{2\cdot 3}\cdot\frac{2\cdot5}{3\cdot 4}\cdot\frac{3\cdot6}{4\cdot 5}\cdots\frac{(n-3)n}{(n-2)(n-1)}\cdot\frac{(n-2)(n+1)}{(n-1)n}\cdot\frac{(n-1)\cdot(n+2)}{n(n+1)}$。
3. 最后，可以发现第2步中不同项之间的分子和分母存在重叠，化简后可以得到$L=\lim_{n\rightarrow \infty }\frac{1}{3}\cdot \frac{n+2}{n}=\frac{1}{3}\lim_{n\rightarrow\infty}\frac{1+\frac{2}{n}}{1}=\frac{1}{3}$，所以极限值为$\frac{1}{3}$。"
2,"求$xy=\ln y$在$P=\left(\frac{1}{\mathrm{e}},\mathrm{e}\right)$点的曲率半径____",$\mathrm{e}^2$,$2\mathrm{e}^3$,$3\mathrm{e}^3$,$\mathrm{e}^3$,D,"1. 首先，对原方程两边取$e$指数，可以有$xy=\ln y \Rightarrow e^{xy}=y$。
2. 其次，对方程两边同时求导：$y'=e^{xy}(y+xy')\Rightarrow y'=\frac{ye^{xy}}{1-xe^{xy}}$。于是，当$(x,y)\rightarrow (\frac{1}{e},e)$，有$\lim _{(x,y)\rightarrow (\frac{1}{e},e)}y'=\lim _{(x,y)\rightarrow (\frac{1}{e},e)}\frac{e^2}{1-xe^{xy}}$。
3. 其次，对$y'=\frac{ye^{xy}}{1-xe^{xy}}$两边同时求导并化简，有$y''=\frac{y'e^{xy}+y^2e^{xy}+xyy'e^{xy}-xy'e^{2xy}+ye^{2xy}}{(1-xe^{xy})^2}$。于是，当$(x,y)\rightarrow (\frac{1}{e},e)$时，有$\lim_{(x,y)\rightarrow (\frac{1}{e},e)}y''=\lim_{(x,y)\rightarrow (\frac{1}{e},e)}\frac{e^3}{(1-xe^{ey})^3}$。
4. 最后，$xy=\ln y$在$(\frac{1}{e},e)$处的曲率$K=\lim_{(x,y)\rightarrow (\frac{1}{e},e)} K=\lim_{(x,y)\rightarrow (\frac{1}{e},e)}\frac{|y''|}{[1+(y')^2]^{\frac{3}{2}}}=\lim_{(x,y)\rightarrow (\frac{1}{e},e)}\frac{|\frac{e^3}{(1-xe^{xy})^3}|}{[1+(\frac{e^2}{1-xe^{xy}})^2]^{\frac{3}{2}}}=e^{-3}$。因此，$xy=\ln y$在$(\frac{1}{e},e)$处的曲率半径为$R=\frac{1}{K}=e^3$。"
3,求不定积分：$I=\int{x\ln\left(1+x^2\right)\mathrm{arc}\tan x}\mathrm{d}x$____,$\frac{\left( x^2+1 \right) \ln \left( 1+x^2 \right) \mathrm{arc}\tan x+3x-\left( x^2+3 \right) \mathrm{arc}\tan x-x\ln \left( 1+x^2 \right)}{2}+C$,$\frac{\left( x^2+2 \right) \ln \left( 2+x^2 \right) \mathrm{arc}\tan x+3x-\left( x^2+3 \right) \mathrm{arc}\tan x-x\ln \left( 1+x^2 \right)}{2}+C$,$\frac{\left( x^2+1 \right) \ln \left( 2+x^2 \right) \mathrm{arc}\tan x+3x-\left( x^2+4 \right) \mathrm{arc}\tan x-x\ln \left( 1+x^2 \right)}{2}+C$,$\frac{\left( x^2+1 \right) \ln \left( 2+x^2 \right) \mathrm{arc}\tan x+4x-\left( x^2+4 \right) \mathrm{arc}\tan x-x\ln \left( 1+x^2 \right)}{2}+C$,A,"1. 首先，我们可以观察到积分中有$x$和$\ln(1+x^2)\mathrm{arc}\tan x$两部分，我们可以尝试使用分部积分法求解。
2. 其次，对于原式$I=\int{x\ln\left(1+x^2\right)\mathrm{arc}\tan x}\mathrm{d}x=\frac{(x^2+1)\ln{(1+x^2)}\mathrm{arc}\tan x}{2}-\int\frac{x^2+1}{2}\mathrm{d}\left[\ln{(1+x^2)}\mathrm{arc}\tan x\right]=\frac{(x^{2}+1)\ln(1+x^{2})\mathrm{arc}\tan x}{2}-\int x\mathrm{arc}\tan x\mathrm{d}x-\frac{1}{2}\int\ln(1+x^{2})\mathrm{d}x$。
3. 接着，继续使用分部积分法计算$I_1=\int x\mathrm{arc}\tan x\mathrm dx$。$I_1=\int\mathrm{arc}\tan x\mathrm{d}\left(\frac{1}{2}x^2\right)=\frac{1}{2}x^2\mathrm{arc}\tan x-\int\frac{1}{2}x^2\mathrm{d}[\mathrm{arc}\tan x]=\frac{1}{2}x^2\mathrm{arc}\tan x-\frac{1}{2}x+\frac{1}{2}\mathrm{arc}\tan x+C_1$。
4. 然后，继续使用分部积分法计算$I_2=\frac{1}{2}\int\ln(1+x^{2})\mathrm{d}x$。$I_2=\frac{x\ln(1+x^2)}{2}-\frac{1}{2}\int x\mathrm{d}[\ln(1+x^2)]=\frac{x\ln(1+x^2)}{2}-x+\mathrm{arc}\tan x+C_2$。
5. 最后，带入第3、4步的计算结果可以得到，$I=\frac{\left( x^2+1 \right) \ln \left( 1+x^2 \right) \mathrm{arc}\tan x+3x-\left( x^2+3 \right) \mathrm{arc}\tan x-x\ln \left( 1+x^2 \right)}{2}+C$。"
4,求定积分：$\int_0^1{\left(1-x\right)\sqrt{2x-x^2}}\mathrm{d}x=$____,$\frac{1}{2}$,$\frac{1}{3}$,$\frac{1}{4}$,$\frac{1}{5}$,B,"1. 首先，我们观察到积分中的$\sqrt{2x-x^2}$，可以首先考虑进行变换。有$(1-x)\sqrt{2x-x^2}=(1-x)\sqrt{1-(1-x)^2}$。
2. 其次，考虑使用换元积分法进行求解。令$1-x=u\Rightarrow x=1-u\Rightarrow \mathrm dx=d(1-u)=-\mathrm du$。
3. 接着，我们需要将积分区间进行变换。当$x=0$时，$u=1$；当$x=1$时，$u=0$，因此积分区间变为$[1,0]$。
4. 将换元后的$x$代入原式，得到：$\int_0^1{\left(1-x\right)\sqrt{2x-x^2}}\mathrm{d}x=\int_1^0u\sqrt{1-u^2}\left(-\mathrm{d}u\right)=\int_0^1u\sqrt{1-u^2}\mathrm{d}u$。
5. 再次使用换元积分法，令$u=\sin t\Rightarrow \mathrm d u=\mathrm d(\sin t)=\cos t\mathrm dt$，当$u=0$时，$t=\frac{\pi}{2}$；当$u=1$时，$t=0$，因此，积分区间变为$[0,\frac \pi2]$。
6. 最后，将换元后的$u$代入第4步的表达式，得到$\int_{0}^{1}(1-x)\sqrt{2x-x^2}=\int_0^1u\sqrt{1-u^2}\mathrm{d}u=\int_0^{\frac{\pi}{2}}\sin t\sqrt{1-\sin^2t}\cdot\cos t\mathrm{d}t=\int_0^{\frac{\pi}{2}}\sin t\cos^2t\mathrm{d}t=\frac{1}{3}$。"
4.3 准备配置文件
下面准备 InternLM和ceval 相关的配置文件。首先列出所有跟 InternLM 及 C-Eval 相关的配置，
python tools/list_configs.py internlm ceval
将看到：
+----------------------------------------+----------------------------------------------------------------------+
| Model | Config Path |
|----------------------------------------+----------------------------------------------------------------------|
| hf_internlm2_1_8b | configs/models/hf_internlm/hf_internlm2_1_8b.py |
| hf_internlm2_20b | configs/models/hf_internlm/hf_internlm2_20b.py |
| hf_internlm2_7b | configs/models/hf_internlm/hf_internlm2_7b.py |
| hf_internlm2_base_20b | configs/models/hf_internlm/hf_internlm2_base_20b.py |
| hf_internlm2_base_7b | configs/models/hf_internlm/hf_internlm2_base_7b.py |
| hf_internlm2_chat_1_8b | configs/models/hf_internlm/hf_internlm2_chat_1_8b.py |
| hf_internlm2_chat_1_8b_sft | configs/models/hf_internlm/hf_internlm2_chat_1_8b_sft.py |
| hf_internlm2_chat_20b | configs/models/hf_internlm/hf_internlm2_chat_20b.py |
| hf_internlm2_chat_20b_sft | configs/models/hf_internlm/hf_internlm2_chat_20b_sft.py |
| hf_internlm2_chat_20b_with_system | configs/models/hf_internlm/hf_internlm2_chat_20b_with_system.py |
| hf_internlm2_chat_7b | configs/models/hf_internlm/hf_internlm2_chat_7b.py |
| hf_internlm2_chat_7b_sft | configs/models/hf_internlm/hf_internlm2_chat_7b_sft.py |
| hf_internlm2_chat_7b_with_system | configs/models/hf_internlm/hf_internlm2_chat_7b_with_system.py |
| hf_internlm2_chat_math_20b | configs/models/hf_internlm/hf_internlm2_chat_math_20b.py |
| hf_internlm2_chat_math_20b_with_system | configs/models/hf_internlm/hf_internlm2_chat_math_20b_with_system.py |
| hf_internlm2_chat_math_7b | configs/models/hf_internlm/hf_internlm2_chat_math_7b.py |
| hf_internlm2_chat_math_7b_with_system | configs/models/hf_internlm/hf_internlm2_chat_math_7b_with_system.py |
| hf_internlm_20b | configs/models/hf_internlm/hf_internlm_20b.py |
| hf_internlm_7b | configs/models/hf_internlm/hf_internlm_7b.py |
| hf_internlm_chat_20b | configs/models/hf_internlm/hf_internlm_chat_20b.py |
| hf_internlm_chat_7b | configs/models/hf_internlm/hf_internlm_chat_7b.py |
| hf_internlm_chat_7b_8k | configs/models/hf_internlm/hf_internlm_chat_7b_8k.py |
| hf_internlm_chat_7b_v1_1 | configs/models/hf_internlm/hf_internlm_chat_7b_v1_1.py |
| internlm_7b | configs/models/internlm/internlm_7b.py |
| ms_internlm_chat_7b_8k | configs/models/ms_internlm/ms_internlm_chat_7b_8k.py |
+----------------------------------------+----------------------------------------------------------------------+
+--------------------------------+-------------------------------------------------------------------+
| Dataset | Config Path |
|--------------------------------+-------------------------------------------------------------------|
| ceval_clean_ppl | configs/datasets/ceval/ceval_clean_ppl.py |
| ceval_contamination_ppl_810ec6 | configs/datasets/contamination/ceval_contamination_ppl_810ec6.py |
| ceval_gen | configs/datasets/ceval/ceval_gen.py |
| ceval_gen_2daf24 | configs/datasets/ceval/ceval_gen_2daf24.py |
| ceval_gen_5f30c7 | configs/datasets/ceval/ceval_gen_5f30c7.py |
| ceval_ppl | configs/datasets/ceval/ceval_ppl.py |
| ceval_ppl_1cd8bf | configs/datasets/ceval/ceval_ppl_1cd8bf.py |
| ceval_ppl_578f8d | configs/datasets/ceval/ceval_ppl_578f8d.py |
| ceval_ppl_93e5ce | configs/datasets/ceval/ceval_ppl_93e5ce.py |
| ceval_zero_shot_gen_bd40ef | configs/datasets/ceval/ceval_zero_shot_gen_bd40ef.py |
| configuration_internlm | configs/datasets/cdme/internlm2-chat-7b/configuration_internlm.py |
| modeling_internlm2 | configs/datasets/cdme/internlm2-chat-7b/modeling_internlm2.py |
| tokenization_internlm | configs/datasets/cdme/internlm2-chat-7b/tokenization_internlm.py |
+--------------------------------+-------------------------------------------------------------------+
4.4 启动评测：命令行配置参数法
使用命令行配置参数法进行评测，首先打开 opencompass 文件夹下的 configs/models/hf_internlm/hf_internlm2_chat_1_8b.py，贴入以下代码：
from opencompass.models import HuggingFaceCausalLM
models = [
dict(
type=HuggingFaceCausalLM,
abbr='internlm2-1.8b-hf',
path="/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b",
tokenizer_path='/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b',
model_kwargs=dict(
trust_remote_code=True,
device_map='auto',
),
tokenizer_kwargs=dict(
padding_side='left',
truncation_side='left',
use_fast=False,
trust_remote_code=True,
),
max_out_len=100,
min_out_len=1,
max_seq_len=2048,
batch_size=8,
run_cfg=dict(num_gpus=1, num_procs=1),
)
]
按照以下命令进行 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能评测。
由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。
#环境变量配置
export MKL_SERVICE_FORCE_INTEL=1
#或
export MKL_THREADING_LAYER=GNU
python run.py --datasets ceval_gen --models hf_internlm2_chat_1_8b --debug
命令解析
python run.py
–datasets ceval_gen \ # 数据集准备
–models hf_internlm2_chat_1_8b \ # 模型准备
–debug # debug模式评估，任务将按顺序执行，并实时打印输出
运行后，屏幕显示以下内容表明开启推理评测，总体耗时较久，耐心等待
[2024-08-09 16:48:07,016] [opencompass.openicl.icl_inferencer.icl_gen_inferencer] [INFO] Starting inference process...
最终，使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 ceval 数据集上的性能结果如下
dataset version metric mode internlm2-1.8b-hf
---------------------------------------------- --------- ------------- ------ -------------------
ceval-computer_network db9ce2 accuracy gen 47.37
ceval-operating_system 1c2571 accuracy gen 47.37
ceval-computer_architecture a74dad accuracy gen 23.81
ceval-college_programming 4ca32a accuracy gen 27.03
ceval-college_physics 963fa8 accuracy gen 42.11
ceval-college_chemistry e78857 accuracy gen 37.5
ceval-advanced_mathematics ce03e2 accuracy gen 26.32
ceval-probability_and_statistics 65e812 accuracy gen 22.22
ceval-discrete_mathematics e894ae accuracy gen 25
ceval-electrical_engineer ae42b9 accuracy gen 27.03
ceval-metrology_engineer ee34ea accuracy gen 54.17
ceval-high_school_mathematics 1dc5bf accuracy gen 22.22
ceval-high_school_physics adf25f accuracy gen 42.11
ceval-high_school_chemistry 2ed27f accuracy gen 52.63
ceval-high_school_biology 8e2b9a accuracy gen 26.32
ceval-middle_school_mathematics bee8d5 accuracy gen 36.84
ceval-middle_school_biology 86817c accuracy gen 80.95
ceval-middle_school_physics 8accf6 accuracy gen 47.37
ceval-middle_school_chemistry 167a15 accuracy gen 80
ceval-veterinary_medicine b4e08d accuracy gen 43.48
ceval-college_economics f3f4e6 accuracy gen 32.73
ceval-business_administration c1614e accuracy gen 39.39
ceval-marxism cf874c accuracy gen 68.42
ceval-mao_zedong_thought 51c7a4 accuracy gen 70.83
ceval-education_science 591fee accuracy gen 55.17
ceval-teacher_qualification 4e4ced accuracy gen 59.09
ceval-high_school_politics 5c0de2 accuracy gen 57.89
ceval-high_school_geography 865461 accuracy gen 47.37
ceval-middle_school_politics 5be3e7 accuracy gen 76.19
ceval-middle_school_geography 8a63be accuracy gen 75
ceval-modern_chinese_history fc01af accuracy gen 52.17
ceval-ideological_and_moral_cultivation a2aa4a accuracy gen 73.68
ceval-logic f5b022 accuracy gen 31.82
ceval-law a110a1 accuracy gen 29.17
ceval-chinese_language_and_literature 0f8b68 accuracy gen 47.83
ceval-art_studies 2a1300 accuracy gen 42.42
ceval-professional_tour_guide 4e673e accuracy gen 51.72
ceval-legal_professional ce8787 accuracy gen 34.78
ceval-high_school_chinese 315705 accuracy gen 36.84
ceval-high_school_history 7eb30a accuracy gen 65
ceval-middle_school_history 48ab4a accuracy gen 86.36
ceval-civil_servant 87d061 accuracy gen 42.55
ceval-sports_science 70f27b accuracy gen 52.63
ceval-plant_protection 8941f9 accuracy gen 40.91
ceval-basic_medicine c409d6 accuracy gen 68.42
ceval-clinical_medicine 49e82d accuracy gen 36.36
ceval-urban_and_rural_planner 95b885 accuracy gen 52.17
ceval-accountant 002837 accuracy gen 36.73
ceval-fire_engineer bc23f5 accuracy gen 38.71
ceval-environmental_impact_assessment_engineer c64e2d accuracy gen 51.61
ceval-tax_accountant 3a5e3c accuracy gen 36.73
ceval-physician 6e277d accuracy gen 42.86
ceval-stem - naive_average gen 40.59
ceval-social-science - naive_average gen 58.21
ceval-humanities - naive_average gen 50.16
ceval-other - naive_average gen 45.43
ceval-hard - naive_average gen 33.76
ceval - naive_average gen 47.03
4.4 启动评测：配置文件修改参数法
OpenCompass 允许用户在配置文件中编写实验的完整配置并直接运行。
配置文件是以 Python 格式组织的，并且必须包括 datasets 和 models字段。
本测试配置在 configs 文件夹 中。此配置通过继承机制引入所需的数据集和模型配置，按照特定格式组合 datasets 和 models 字段。
首先在configs文件夹下创建 eval_tutorial_demo.py
cd /root/opencompass/configs
touch eval_tutorial_demo.py
贴入以下代码内容
from mmengine.config import read_base
with read_base():
from .datasets.ceval.ceval_gen import ceval_datasets
from .models.hf_internlm.hf_internlm2_chat_1_8b import models as hf_internlm2_chat_1_8b_models
datasets = ceval_datasets
models = hf_internlm2_chat_1_8b_models
我们通过配置，已经指定了数据集和模型，直接将配置文件作为参数传给 run.py 即可：
cd /root/opencompass
python run.py configs/eval_tutorial_demo.py --debug
屏幕显示以下内容则表明开启评测
[2024-08-09 16:48:07,016] [opencompass.openicl.icl_inferencer.icl_gen_inferencer] [INFO] Starting inference process...
1035
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
