SEI的最新工作：Open AI协作、生成式AI和零信任

作为让您了解我们最新持续投入的部分工作，这篇文章总结了SEI在网络安全大语言模型、软件工程和生成式AI获取、零信任、大型语言模型等领域最近发表的一些出版物。以及网络安全、基于能力的规划、供应链的风险管理、软件工程和采购中的生成式人工智能以及量子计算。

这些出版物重点介绍了SEI技术专家在这些领域的最新工作。这篇文章包含每个出版物、作者以及可以在SEI网站上访问的链接的列表。

评估网络安全任务的大型语言模型的注意事项

作者：Jeff Gennari、Shing-hon Lau、Samuel J. Perl、Joel Parish (Open AI) 和 Girish Sastry (Open AI)

生成式人工智能 (AI) 和大型语言模型 (LLMs) 席卷了全世界。LLMs 执行与人类同等任务的能力已导致其在包括网络安全在内的各种不同领域得到快速采用。然而，由于影响深远的未知后果和其特殊性，在网络安全环境中使用 LLMs 时需要谨慎。当前的LLM评估方法倾向于关注事实知识，而不是应用的实际任务。但网络安全任务通常需要的不仅仅是事实回忆才能完成。人类在网络安全任务中的表现通常部分取决于他们将概念应用于现实情况并适应不断变化的环境的能力。本文认为，为了准确评估使用 LLMs 执行网络安全任务的能力和风险，需要采用相同的方法。为了能够创建更好的评估，我们确定了设计LLM网络安全评估时要考虑的关键标准。这些标准进一步细化为一组关于如何评估网络安全任务表现的建议。这些建议包括正确确定任务范围、根据现实世界的网络安全现象设计任务、最大限度地减少虚假结果以及确保结果不被误解。

软件工程和生成式人工智能采购的未来

作者：Douglas Schmidt（范德比尔特大学）、Anita Carleton、James Ivers、Ipek Ozkaya、John E. Robert 和 Shen Zhang

我们正处于软件工程的关键时刻，人工智能 (AI) 在推动增强软件获取、分析、验证和自动化的方法的方面发挥着至关重要的作用。虽然生成式人工智能工具最初因其减少错误、轻松扩展变更和推动创新的潜力而令人兴奋，但人们也开始担心。这些担忧包括安全风险、不可预见的故障和信任问题。对生成式人工智能开发助手的结果研究表明，生产力和质量的提高不仅取决于工具的复杂程度，还取决于任务流程的重新设计和专家判断。

本文中SEI 研究人员利用生成式人工智能技术探索软件工程和采购的未来。他们检查当前的应用程序，设想未来的可能性，找出研究差距，并讨论软件工程师和利益相关者有效且负责任地利用生成式人工智能潜力所需的关键技能。加深对人工智能在软件工程和采购中的作用的理解，可以增强其潜力并降低其风险。

文章主要内容涵盖：

• 开始使用生成式人工智能技术时如何确定合适的用例
• 生成式人工智能在软件工程和采购中的实际应用
• 开发人员和决策者如何利用生成式人工智能技术

2024年零信任行业日场景

作者：Rhonda Brown

2024 年 SEI 零信任行业日活动中每位入选的演讲者都针对这种情况开发并提出了一个解决方案：一家公司正在一座岛屿上运营一家芯片制造工厂，该岛上的连接和云服务可能会短时间或长时间中断。在应对零信任实施的挑战时，需要考虑很多因素，包括不同的观点和理念。此次活动深入探讨了解决方案提供商和其他组织如何解释和应对实施零信任的挑战。使用场景为零信任空间设置界限，以产生更丰富的讨论。

今年的活动重点关注制造环境中的工业物联网 (IIoT)、遗留系统、智能城市和云托管服务。

在国家安全领域使用大型语言模型

作者：Shannon Gallagher

应白宫的要求，国家情报总监办公室 (ODNI) 开始探索情报界 (IC) 内大型语言模型 (LLMs) 的用例。作为这项工作的一部分，ODNI 从 2023 年 5 月到 2023 年 9 月赞助了卡内基梅隆大学软件工程学院的五月花项目。五月花项目试图回答以下问题：

• IC 如何设置基线、独立LLM？
• IC 如何针对特定的情报用例定制LLMs？
• IC 如何跨用例评估 LLMs 的可信度？

在此文章中，人工智能工程团队负责人 Shannon Gallagher 和 SEI 人工智能部门主管前特别顾问 Rachel Dzombak 讨论了五月花号项目的调查结果和建议，并提供了有关LLMs的更多背景信息以及如何针对国家安全用例设计它们。

基于能力的规划：好处、挑战和实施要点

作者：Anandi Hira and William Nichols

基于能力的规划（CBP）定义了一个框架，该框架对现有能力和未来需求有一个全面的了解，以便战略性地决定需要什么以及如何有效地实现它。企业和政府采购领域都使用 CBP 来获得财务成功或设计均衡的防御系统。可以理解的是，这些领域的定义有所不同。本文致力于整合这些定义，以全面了解CBP、及其在实施实施中的潜力和原则。

供应链风险管理

作者：Brett Tucker and Matthew J. Butkovic

根据 Verizon 数据泄露报告，过去一年中与 Log4j 相关的漏洞发生频率有所降低。然而，这个常见漏洞和暴露 (CVE) 缺陷最初记录于 2021 年。尽管人们的认识有所提高，但威胁仍然存在。在过去的几年中，软件工程研究所制定了指南和实践来帮助组织减少对美国供应链的威胁。在本文中，Brett Tucker 和 Matthew Butkovic 回答了企业风险管理问题，以帮助组织实现网络供应链的运营弹性。文章内容主要涵盖：

• 企业风险治理以及如何评估组织的风险偏好和政策，因为它与网络风险相关并将网络风险整合到全球风险组合中
• 关于第三方风险的监管指令
• 于 2 月份举行的 CERT 网络供应链风险管理研讨会的内容

软件保障和供应链风险管理中的衡量挑战

作者：Nancy R. Mead, Carol Woody, and Scott Hissam

在本文中，作者讨论了预测开源软件中的网络安全所需的指标，以及如何使用标准来更轻松地在供应链中应用这些指标。作者提供了潜在有用指标的示例，并强调需要收集和分析数据来验证指标。他们断言，定义指标、收集和分析数据以说明其效用以及使用标准方法需要公正的协作工作才能实现预期结果。

量子计算的网络安全：6个研究领域

作者：Tom Scanlon

量子计算机的研究和开发继续快速增长。2022 年，仅美国政府就在量子信息科学研究上花费了超过 8 亿美元。SEI CERT 部门数据科学小组的负责人 Thomas Scanlon 最近受邀参加量子计算网络安全研讨会，其由美国国家科学基金会 (NSF) 和白宫科学技术政策办公室赞助，旨在研究量子计算网络安全的新兴领域。在这文章中，斯坎伦讨论了如何创建量子计算的网络保护学科，并概述了量子网络安全未来研究的六个领域。

关注微信公众号【赛希咨询】，了解更多精彩内容。