SEI的最新工作：Open AI协作、生成式AI和零信任

作为让您了解我们最新持续投入的部分工作，这篇文章总结了SEI在网络安全大语言模型、软件工程和生成式AI获取、零信任、大型语言模型等领域最近发表的一些出版物。以及网络安全、基于能力的规划、供应链的风险管理、软件工程和采购中的生成式人工智能以及量子计算。

这些出版物重点介绍了SEI技术专家在这些领域的最新工作。这篇文章包含每个出版物、作者以及可以在SEI网站上访问的链接的列表。

评估网络安全任务的大型语言模型的注意事项

作者：Jeff Gennari、Shing-hon Lau、Samuel J. Perl、Joel Parish (Open AI) 和 Girish Sastry (Open AI)

生成式人工智能 (AI) 和大型语言模型 (LLMs) 席卷了全世界。LLMs 执行与人类同等任务的能力已导致其在包括网络安全在内的各种不同领域得到快速采用。然而，由于影响深远的未知后果和其特殊性，在网络安全环境中使用 LLMs 时需要谨慎。当前的LLM评估方法倾向于关注事实知识，而不是应用的实际任务。但网络安全任务通常需要的不仅仅是事实回忆才能完成。人类在网络安全任务中的表现通常部分取决于他们将概念应用于现实情况并适应不断变化的环境的能力。本文认为，为了准确评估使用 LLMs 执行网络安全任务的能力和风险，需要采用相同的方法。为了能够创建更好的评估，我们确定了设计LLM网络安全评估时要考虑的关键标准。这些标准进一步细化为一组关于如何评估网络安全任务表现的建议。这些建议包括正确确定任务范围、根据现实世界的网络安全现象设计任务、最大限度地减少虚假结果以及确保结果不被误解。

软件工程和生成式人工智能采购的未来

作者：Douglas Schmidt（范德比尔特大学）、Anita Carleton、James Ivers、Ipek Ozkaya、John E. Robert 和 Shen Zhang

我