翻译：CyberMetric: A Benchmark Dataset based on Retrieval-Augmented Generation for Evaluating LLMs...

CyberMetric：一个基于检索增强生成的基准数据集，用于评估大型语言模型在网络安全知识方面的能力

CyberMetric: A Benchmark Dataset based on Retrieval-Augmented Generation for Evaluating LLMs in Cybersecurity Knowledge

摘要

大型语言模型（LLMs）正越来越多地应用于从软件开发到网络威胁情报的各个领域。理解包括密码学、逆向工程和风险评估等主题在内的所有不同网络安全领域，即使对人类专家来说也是一项挑战。研究社区需要一个多样化、准确且与时俱进的数据集，以测试LLMs在网络安全领域的通用知识。为填补这一空白，我们推出了 CyberMetric-80、CyberMetric-500、CyberMetric-2000 和 CyberMetric-10000，这是一系列多项选择题问答基准数据集，分别包含 80、500、2000 和 10,000 个问题。通过利用 GPT-3.5 和检索增强生成（Retrieval-Augmented Generation, RAG），我们收集了包括 NIST 标准、研究论文、公开可获取的书籍、RFC 文档以及其他网络安全领域的出版物，用于生成每个问题以及四个可能的答案选项。结果经过多轮错误检查和优化。人类专家投入了超过 200 小时验证问题及其解答，以确保其准确性与相关性，并过滤掉任何与网络安全无关的问题。我们在 CyberMetric 数据集上评估并比较了 25 个最先进的 LLM 模型。除了评估 LLM 的主要目标外，我们还邀请了 30 名人类参与者在闭卷环境下完成 CyberMetric-80。这些结果可以作为比较人类与 LLM 在通用网络安全知识方面的参考。研究发现，GPT-4o、GPT-4-turbo、Mixtral-8x7B-Instruct、Falcon-180B-Chat 和 GEMINI-pro 1.0 是表现最佳的 LLM 模型。此外，顶级 LLM 在 CyberMetric-80 上的准确率高于普通人类参与者，尽管经验丰富的网络安全专家仍然优于小型模型，例如 Llama-3-8B、Phi-2 或 Gemma-7b。CyberMetric 数据集已公开供研究社区使用，可从项目网站下载：https://github.com/CyberMetric。

1 引言

18世纪的工业革命开启了技术时代，以蒸汽机等重大进步为标志，其效率超越了人类和动物的劳动。20世纪中期，UNIVAC [6] 计算机在20世纪50年代问世，能够比任何人类更快地进行复杂计算和数据处理。到20世纪70年代，早期的国际象棋程序开始挑战有经验的人类棋手，展示了人工智能（AI）不断发展的潜力。1997年，IBM 的深蓝 [1] 击败了加里·卡斯帕罗夫 [13]，标志着人工智能的一个突破性时刻。这一趋势在2016年得以延续，谷歌 DeepMind 开发的 AlphaGo [21] 在围棋比赛中击败了世界冠军李世石 [4]。大型语言模型（LLMs）彻底改变了自然语言处理（NLP），提升了自动生成文本的能力，并实现了类人的交互。这些突破延伸到了医学 [22]、金融 [23] 等领域，尤其是网络安全 [7]。LLMs 在网络安全领域展现出巨大潜力，从威胁检测 [8] 和策略解读 [18] 到软件修复 [2] 都有所提升。网络安全涵盖广泛的主题，需要强大的数学基础、编程能力、创造性思维、分析技能和管理任务，这使得人类掌握这一领域成为一个漫长而具有挑战性的过程。

两个研究问题自然而然地浮现出来：

• RQ1：机器智能是否已经超越了人类，在闭卷测试中回答整个网络安全知识范围内的问题？
• RQ2：目前可用的哪种模型在回答跨多个网络安全领域的多样化问题时能达到最高准确率？

要解决这些问题，必须满足两个前提条件：1）创建一个可信且经过验证的大规模数据集，以评估 LLMs 的网络安全知识；2）选择一个问题子集，将人类与 LLMs 进行对比。尽管现有数据集和调查集中在解决问题、编程、渗透测试或威胁情报 [12], [24] 上，但仍然缺乏用于测试问答形式下的广泛网络安全知识的综合性数据集。本文旨在通过开发 CyberMetric 来填补这一空白，这是第一个全面的基准数据集，用于评估 LLMs 在网络安全领域的专业知识。我们的数据集包括9个领域：灾难恢复与业务连续性计划（BCP）、身份与访问管理（IAM）、物联网安全、密码学、无线安全、网络安全、云安全、渗透测试以及合规性/审计。该数据集包含从数百份指南、标准、书籍和研究论文中提取的10,000个问题和答案，总计数万页。

本文的主要贡献如下：

1. 我们提出了 CyberMetric-10000，这是一个综合性的基准数据集，包含10,000个与网络安全相关的问题，旨在评估 LLMs 在网络安全九大不同领域的理解能力。此外，我们创建了原始数据集的较小子集，分别命名为 CyberMetric-80、CyberMetric-500 和 CyberMetric-2000。其中，80题和500题的数据集已由人类专家完全验证。CyberMetric 数据集已向研究社区开放，作为网络安全知识的基础指标，可从以下网址获取：https://github.com/CyberMetric。
2. 我们进行了广泛的用户研究，邀请了30名人类专家回答 CyberMetric-80，以将其表现与 LLMs 进行对比。此分析旨在了解当回答多项选择题时，人类专业知识与机器智能在网络安全知识方面的对比情况。

本文其余部分组织如下：第 II 节概述了相关文献，第 III 节详细介绍了方法论和数据集的创建，第 IV 节讨论了实验设置、目标和结果，第 V 节展示了我们的观察结果，第 VI 节讨论了局限性和伦理考量，第 VII 节总结了全文。

2 相关工作

随着大型语言模型（LLMs）的不断发展，对特定领域基准数据集的需求显著增长，这些数据集用于测试和比较其能力。这些数据集对于评估 LLMs 在不同网络安全领域的表现至关重要，并为后续开发和训练提供了指导。尽管已有针对数学问题解决、编程和推理的数据集 [3], [5], [11]，但在我们的研究之前，尚未开发出用于评估广泛网络安全知识的大规模数据集。近年来，整理问答（Q&A）数据集变得越来越流行。Khot 等人 [14] 提出了 QASC，这是一个专注于小学和中学科学的多项选择题（MCQ）数据集。类似地，OpenBookQA [17] 是一个针对基础科学事实的 MCQ 数据集。此外，还引入了多个多语言问答数据集，例如 TYDI-QA、DuReader [10] 和 DRCD [20]。CodeApex [9] 通过多项选择考试题来评估编程理解能力，涵盖概念理解、常识推理和多步推理，以及代码生成和代码修正任务。作者测试了 12 个 LLMs，发现 GPT-4 展现出最高的编程能力，在理解任务中的准确率为 69%，在生成任务中为 54%，在修正任务中为 66%。他们得出结论：“初学者在闭卷测试中的表现与 GPT-4 相似，而人类在开卷考试中的表现明显优于所有 LLMs。” 这一趋势在大多数被测试模型中保持一致，包括 Chinese-Alpaca-13B 和 InternLM-Chat-7B。然而，虽然 GPT-4 在闭卷场景中优于人类，但人类在开卷考试中的表现仅略胜一筹。在 [16] 中，Z. Liu 提出了一个专注于网络安全的 MCQ 数据集，旨在评估 LLMs 的能力，但它完全基于单一材料：“Computer Systems Security: Planning for Success”（计算机系统安全：成功规划）。该数据集包含约两百个问题。值得注意的是，人类对比和验证并未纳入开发过程。在此数据集上，GPT-3.5-Turbo 和 GPT-4 实现了相同的零样本（zero-shot）得分，均为 99.1%。

3 方法论

创建 CyberMetric 数据集的框架如图 1 所示，包含五个关键阶段：➀ 数据收集、➁ 问题生成、➂ 问题后处理、➃ 问题验证和 ➄ 参考数据集创建阶段。

3.1 ➀ 数据收集

问题由 GPT-3.5-turbo 使用检索增强生成（Retrieval-Augmented Generation, RAG）[15] 从广泛认可的网络安全文档中生成，包括开放标准、NIST 标准、研究论文、公开可用的书籍、RFC 文档以及其他网络安全领域的出版物，总计超过数万页。由于这些文档为 PDF 格式，我们使用 pdfminer1 提取文本，并将其分割为每段 8,000 个 token 的文本块——这完全在 GPT-3.5 的上下文窗口范围内——以确保其能够被有效处理。在此阶段，我们排除了目录、前言、致谢、图片、参考文献和附录等无关部分。

3.2 ➁ 问题生成

这些文本块被输入到 GPT-3.5-turbo 中，每 8,000 个 token 生成十个问题及其对应的多项选择答案。这种方法旨在保持每个出版物的均衡代表性。从一份十页的文档中生成 1,000 个问题可能会导致数据集冗余。生成的问题由 Falcon-180B 进行审查，称为 FALCON 内容审查，以识别语法和语义错误并过滤掉无关问题。通过应用语义分析 [25]，与网络安全无关的问题被排除。在此阶段，人类验证者随机检查了问题，以评估结果的整体质量，确保它们与网络安全相关且用清晰、正确的英语书写。GPT-3.5 共生成了 11,000 个问题，额外增加了 10% 的余量，以便删除不必要的或无关的问题。FALCON 内容审查模块因语法和语义错误删除了 1.7% 的问题。随后，人类专家投入了超过 30 小时，进一步删除了 2.3% 的问题。剩余的问题形成了中间数据库，包含语法正确且专注于网络安全的问题。然而，在此阶段，无论是 LLMs 还是人类专家都尚未验证答案的准确性。接下来，保留的 10,560 个问题必须经过进一步的答案验证，以识别并移除具有多个或错误答案的问题。

3.3 问题后处理

首先，我们采用了谷歌的前沿 T5-base 模型 [19]，该模型经过语法校正训练。该模型识别出 230 个可以改进英语表达的问题。例如，它标记了句子“Which of the following elements do not apply to privacy?” 的主谓一致错误，正确的形式应为 “Which of the following elements does not apply to privacy?”。其次，我们再次利用了 Falcon-180B，但这次不是进行语义检查，而是旨在消除无法独立理解的非上下文问题。例如，“根据图 1” 或 “如表 6 所示” 等问题在没有相关内容的情况下毫无意义。在修复和移除这些问题后，我们使用 GPT-4、GPT-4o 和 Mistral7x8B 分析了所有剩余的 10,470 个问题，判断它们提供的答案是否正确。

3.4 测试阶段

我们进入了分析的关键阶段，人类专家必须审查所有由 GPT-4、GPT-4o 和 Mistral7x8B 标记的问题。经过彻底检查，我们发现许多问题不准确或不够精确。这些问题可分为四类：

1. 多个正确答案：数据集中的一些问题提供了不止一个正确答案。
2. 时间相关问题：由于问题及其答案来源于过去十年至今的材料，一些生成的问题可能已经过时。例如，2015 年时，“根据网络调查，哪个 Web 服务器主导市场？” 的答案是 Apache，但截至 2024 年，主导的 Web 服务器是 Nginx。
3. 来源中的错误信息：令我们惊讶的是，一些选定的来源尽管声誉良好且广受关注，却包含错误信息。我们通过多位领域专家验证了这些不准确之处。
4. 缺失引用：一些问题仍然引用原始文档的内容，例如 “根据表 2” 或 “如图 1 所示”，使其在没有引用内容的情况下无法回答。尽管之前已努力消除此类问题，但我们仍发现了新的实例，例如 “在第 4 章中” 或 “根据作者的观点”。

在解决标记的问题后，我们进一步删除了一些冗余问题。这一阶段需要人类专家投入超过 200 小时的工作。最终结果构成了 CyberMetric 数据集的核心，包含恰好 10,000 个问题。表 I 显示了问题的最终分布。

3.5 ➄ 参考数据集创建

首先，我们为人类参与者创建了 CyberMetric-80，同时创建了 CyberMetric-500，其中所有答案均准确无误，并由来自各个网络安全领域的专家小组验证。每位专家至少拥有 10 年经验，并持有国际认可的认证，如 CISSP、CISM、OSCP、OSEP 和 ISO 27001LA。我们通过社交网络招募了 30 名调查参与者，并联系了来自大学、研究机构和四大咨询公司的个人志愿者。我们准备了一份 Google 表单调查，包含性别、年龄、工作经验年限和最高学历等问题，并要求志愿者（从初学者到专家）在不借助任何外部帮助的情况下完成问卷。接下来，25 个选定的 LLM 模型完成了所有四个 CyberMetric 数据集。关于 30 名参与者和 LLM 准确性的综合分析将在第 IV 节讨论。最后，对问题进行了自动统计分析，以确认所有答案在 A、B、C 和 D 选项中保持一致。此外，我们采取了措施确保答案均匀分布在各选项中。

4 实验结果

实验分为三个部分：比较 25 个 LLM 在所有四个 CyberMetric 数据集中的网络安全知识，评估人类与 LLM 在 CyberMetric-80 上的表现，并确定数据集的准确性。

4.1 评估 LLM 的表现

25 个 LLM 模型在 AWS ml.p4d.24xlarge 实例上进行测试，该实例配备 8 块 NVIDIA Tesla A100 GPU 卡和 382 GB 内存，运行 Ubuntu 22.04。默认设置为温度 1.0、top-p 为 0.9、top-k 为 50。

最准确的专有模型是 GPT-4o 和 GPT-4-turbo（参见表 III，按 2K Q 列排序）。表现最佳的开源模型是 Mistral AI 的 Mixtral-8x7B-Instruct 和 TII 的 Falcon-180B。值得注意的是，参数量为 70 亿的最佳小型模型是 Mistral AI 的 Mistral-7B-Instruct-v0.2 和谷歌的 Gemma-1.1-7b-it。关于错误回答、弱点和优势的进一步分析将在第 V 节讨论。需要注意的是，由于模型输出的概率性质，即使是表现最好的模型，在后续运行中也可能出现最多 3-4 个百分点的波动。

4.2 人类在 CyberMetric-80 上的表现

共有 30 名参与者完成了 CyberMetric-80 问卷，专家完成此问卷需 40 至 60 分钟。他们被要求进行闭卷考试。两名参与者因在缺乏网络安全经验的情况下取得异常高的准确率而被取消资格；他们使用 GPT-3.5 解答问题，导致其回答与 GPT-3.5 的答案几乎完全一致，包括正确和错误的部分。

CyberMetric 数据集涵盖了广泛的主题，使得人类专家在没有事先准备的情况下，很难在闭卷场景中从记忆中回忆所有内容。最高得分为 71/80 ≈ 88.75%，由一位拥有博士学位并持有 CISSP、OSCP 和 ISO27001LA 认证的个人获得。30 名参与者的中位数得分为 56，平均准确率为 53.83%。具有至少 1-5 年网络安全经验的参与者的平均准确率为 72.24%。没有任何网络安全经验的初学者得分范围为 21.25% 至 63.75%。表 II 显示了所有参与者的结果。

4.3 数据集准确性

如前所述，CyberMetric-80 和 CyberMetric-500 的所有问题和答案均已由人类专家完全验证，可作为参考点。如果 LLM 在 CyberMetric-10000 和完全验证的 CyberMetric-80 及 CyberMetric-500 数据集之间的准确性存在显著差异（例如 30%），则表明较大数据集可能缺乏精确性，部分答案可能仍然不正确。

如表 III 所示，情况并非如此。尽管大多数模型在 CyberMetric-10000 上的准确性低于较小的子集，但这也归因于 CyberMetric-10000 中包含更多关于新建议、指南和近期研究的问题，许多模型对这些内容不熟悉，从而导致准确性下降。我们估计 CyberMetric-10000 中仍有 2-3% 的问题存在第 III-D 节中提到的问题。我们鼓励读者和研究人员通过在数据集的 GitHub 仓库中提交问题来报告任何不充分或可疑的答案。

---

5 讨论——人类 vs 机器

平均而言，人类专家的平均准确率为 72%，表现与 Llama 2-70B 相当。顶尖的人类表现接近 Falcon-180B、GPT-3.5 和 GEMINI-pro 1.0。然而，GPT-4o、Mixtral-8x7B-Instruct 和 GPT-4-turbo 在 CyberMetric-80 数据集上显著优于任何人类。图 2 比较了人类与 LLM 在 CyberMetric-80 上的表现。

5.1 人类在 CyberMetric-80 上最难回答的问题

分析揭示了对参与者最具挑战性的问题。表 IV 突出了所有参与者回答成功率在 25% 或以下的前 5 个问题。问题 41 和 66 对人类和 LLM 提出了类似的挑战。这种相似性可以归因于这些问题来自 NIST 和 BSI 的相对较新的建议。

5.2 LLM 最难回答的问题

哪个领域对 LLM 构成了最大的挑战？这一问题是进行有意义比较的关键，并有助于未来研究。人类是否面临相同的困难，还是这些挑战仅限于 LLM？在此，我们展示了引人入胜的发现，突出了 LLM 在回答问题时面临的两个最具挑战性的领域。

1) 前沿研究

LLMs 在基于最新研究准确回答问题时经常遇到困难，尤其是在其训练数据过时的情况下。例如，考虑以下问题：“推荐的密码更换间隔时间是多少？”历史上，许多指南规定每 30 天更换一次密码。因此，基于大量数据训练的模型通常会支持这一间隔。然而，最新的 NIST SP 800-63B 第 5.1.1.2 节第 9 段建议不要定期更改密码，仅在有证据表明密码遭到泄露时才建议更改。尽管官方解释简单明了，但它挑战了过去 30 年来主导密码行为研究的范式，并不完全直观。最近的研究表明，当用户知道他们需要很快更换密码时，往往会选择较弱的密码。由于大多数文档并未与这些更新后的指南保持一致，预计大多数 LLMs 会建议用户定期更改密码。只有少数模型（如 GPT-4o 和 GPT-4）能够准确回答这些事实性问题，这可能是因为它们具有互联网访问权限或使用了最新的训练数据。

另一个让高级语言模型和人类都感到困难的问题涉及最新的联邦信息安全办公室（BSI）建议。2023 年 1 月，BSI 发布了《加密机制：建议与密钥长度（BSI TR-02102-1）》指南。该指南规定，对于离散对数集成加密方案（DLIES），素数 p 的位数应不少于 3000 位，而素数 q 的位数至少为 250 位。选择 3000 位作为 p 的值（并非 2 的幂次），并且要求 q 为 256 位，导致了一个看似不平衡的素数方案。即使是资深安全分析师也常觉得这个问题颇具挑战性，而许多语言模型在处理此类问题时难以给出正确答案。

2) 复杂计算

LLMs 在需要精确计算的场景中往往面临挑战，因为它们无法访问 RAG 或外部工具。例如，像“二进制数 110101 和 101010 的按位异或运算结果是什么？”这样的问题可能会很困难。虽然像 GPT-4o 这样的模型可以通过嵌入 Python 工具轻松处理，但 Mixtral-8x7B-Instruct 或 GPT-3.5 等模型在没有外部帮助的情况下可能会失败。同样，一个简单的问题，例如“子网掩码 255.255.248.0 的 CIDR 表示法等价形式是什么？”本应容易回答，但许多模型在没有外部帮助的情况下仍难以正确作答。复杂模型在精确计算时常常给出错误答案，这凸显了解决复杂数学或推理问题时对外部工具的需求。

---

6 局限性、伦理与未来研究

6.1 局限性与有效性威胁

我们识别出三个主要的有效性威胁，简要总结如下：

• 对于 CyberMetric-10000，大多数问题已由人类专家验证。然而，验证如此大规模数据集中的所有问题是一项极其艰巨的任务，因此仍可能存在一些错误验证或无关的问题。更新和修正将在项目网站上发布：https://github.com/CyberMetric。我们也欢迎研究社区提供反馈。
• 数据集包含多个领域的各种问题，而人类专家通常在特定领域具有专业知识。因此，直接比较 LLMs 和人类专家可能看似不公平。然而，结果清楚地表明，LLMs 在回答大多数网络安全主题的问题时优于人类。
• 在问题生成阶段，GPT-3.5 被用于根据提供的文档创建初始问题，这可能导致 OpenAI 可能已经学习了这些问题。尽管如此，测量结果显示，其他模型（如 Mixtral-8x7B-Instruct 甚至 GPT-4）的表现优于 GPT-3.5，这表明情况并非如此。此外，在人类验证过程中，许多问题被进一步修改，使其更加独特且更具挑战性。

6.2 未来研究方向

尽管存在用于衡量问题解决能力、编程能力或数学推理的数据集，但它们是静态的，问题和答案固定不变。这使得模型能够通过训练记住内容。这一限制同样适用于我们的数据集。因此，我们计划开发一个动态数据集以克服这一问题。

6.3 伦理考量

本研究使用的文档可通过互联网搜索公开获取。CyberMetric 汇集了来自安全领域的多种标准和开放获取文档，包括标准、研究论文、NIST 特别出版物、BSI 指南和 RFC 文档。在人类验证阶段，作者尽最大努力从问题中删除非公开内容，或者在使用 RAG 生成问题时验证来源。

7 结论

在本研究中，我们引入了 CyberMetric 数据集，用于评估 LLMs 在广泛网络安全知识方面的表现。我们的研究聚焦于回答两个关键的研究问题：

• RQ1：机器智能是否已经在闭卷测试中超越了人类，能够回答整个网络安全知识范围内的问题？
  答案：是的，在我们的研究中，顶级 LLM 模型（如 GPT-4o 和 Mixtral-8x7B-Instruct）在 CyberMetric-80 测试中超越了所有人类专家，这表明在闭卷场景下，机器智能已经超越了人类在基于知识的网络安全问题上的表现。人类专家的平均准确率为 72%，与 Llama 2-70B 等模型的表现相当。同时，顶尖的人类参与者几乎与表现最佳的 LLM 模型持平。而初学者的表现显著落后，被测试的 25 个模型中的 18 个超越。

• RQ2：目前可用的哪种模型在回答跨多个网络安全领域的多样化问题时能达到最高准确率？
  答案：GPT-4o 和 GPT-4 被确定为准确性最高的专有模型。在开源模型中，Mixtral-8x7B-Instruct 和 Falcon-180B 表现最佳，在 CyberMetric-10000 上取得了相同的分数。大多数模型在复杂计算和推理方面仍存在局限性。需要注意的是，该数据集不适合对机器与人类在一般智力、直觉和问题解决能力方面得出普遍结论，因为 CyberMetric 仅专注于通过多项选择题（MCQ）衡量网络安全知识。尽管如此，我们正见证一个关键的时代，机器在许多方面的能力逐渐超越人类。

---

致谢

我们衷心感谢参与 CyberMetric-80 调查的志愿者们。他们在完成这项复杂且耗时的 80 道问题测试中所展现出的奉献精神，对本研究的成功至关重要，我们深表感激。在一个即使是支持短暂的 5 分钟调查都难以获得的时代，我们的参与者所表现出的承诺令人高度赞赏。