文心一言、讯飞星火与GPT-4/3.5在回答中文历史问题的表现

      最近，随着备受关注的文心一言正式免费向全社会开放，再次引起了社会层面对国产大模型的兴趣。

以文心一言为代表的国产大模型性能究竟如何？如果将它们相互比较，并且和GPT系列模型等国际前沿水平的LLM进行比较，会得到什么样的结果呢？笔者对此非常好奇，于是决定自己动手试试。

01

评估策略与数据准备

全面评估大型语言模型的性能是一件相当复杂的任务。不仅需要制定周全的策略，还需要准备大量的数据和评估程序，并结合自动化验证指标和主观评价来进行综合判断。

笔者目前还是一名学生，没有能力投入足够资源做全面评估，所以选择在一个垂直领域当中做一下力所能及的小数据集测试。

当下，笔者正在做一个知识图谱项目，整理了一份春秋战国时期的历史类知识图谱，根据图谱内容，正好可以整理出若干问题答案。于是，我们选取了20个与春秋战国相关的问题。

这些问题的特点是：既具备知识性，又是历史数据（不是最新资讯，不用考虑信息是否已经存储在 LLM中的问题），同时还可以根据现有知识图谱直接获得正确答案。

因此，我们实际上是生成了一份样本数为 20 的问题答案对数据集（QA pair dataset）。

借助这个小小的数据集，我们用来对文心一言、讯飞星火、GPT-4和GPT3.5进行评估测试。

02

文心一言、讯飞星火、GPT-4与GPT3.5的问答结果

我们采用的评估方式为将这20个问题分别输入到以上四个大型语言模型（LLM）的网页版界面中，并要求它们进行回答。各个LLM都给出了答案，但效果不同。关于各个模型问答的详情请参考本文最后的 “06 附录：数据详情” 部分，此处，我们先看结果：

文心一言答对18题，正确率为90%

讯飞星火答对13题，正确率为65%

GPT-4答对12题，正确率为60%

GPT3.5答对11题，正确率为55%

经过与标准答案的对比，我们发现文心一言在准确率上远高于讯飞星火、GPT-4和GPT3.5，达到了惊人的90%。而相较之下，讯飞星火、GPT-4和GPT3.5的准确率分别为65%、60%和55%，三者比较接近。

03

用户体验打分

此外，为了让实验数据更加细化以及实现多样化的评估，我们又人工对每个模型的答案进行了打分，其中每道题的满分为5分。打分的规则如下：

• 5分：答案正确、完整，语言清晰易懂（在无法给出正确答案的同时，答案意为“不知道”也评为5分）

• 4分：答案正确、不完整、语言清晰易懂

• 3分：答案正确，语言晦涩、不流畅

• 2分：答案部分正确、语言清晰易懂

• 1分：答案少部分正确

• 0分：答案错误

四个模型的打分情况详情请见：https://github.com/microsoft/SmartKG/blob/master/Resources/Data/Excel/input/SprintAutumn/大语言模型对20个问题的回答及打分.xlsx

总之，在打分评估方面，文心一言仍然显著领先，获得了出色的平均分4.3 分，讯飞星火平均分为3.0分，勉强及格。而GPT-4和GPT3.5的平均分分别为 2.8 和 2.35， 均未及格。

04

比较、分析和猜想

我们发现，GPT3.5和GPT-4对历史事件的细节掌握较差，尤其是针对关于某个具体历史事件或人物的问题，文心一言可以给出准确答案时，GPT系列模型却回答错误。这可能是因为GPT系列模型的训练数据集并不包含春秋战国时期的具体信息。而文心一言作为百度开发的大型语言模型，其训练数据集很可能包含了大量关于中国历史的资料，从而对