美军发布《GenAI生成式人工智能指南》-CSDN博客

知道占知智库

2025年01月16日

点击蓝字，关注我们

占知智库，成为您的战略知援部队

占知微店

微信公众号

占知文库

近日，美国海军陆战队发布NAVMC 5239.1《生成式人工智能指南》，旨在规范GenAI技术在海军陆战队的开发、部署和使用。该文件的核心是确保GenAI工具的安全性、有效性和合规性，同时提高任务效率和作战准备。

定义与分类：GenAI被定义为能够生成合成内容（如文本、图像、音频、视频）的AI模型，包括LLM、GANs、NeRFs、Transformer-Based Models等。

适用范围：适用于整个海军陆战队，所有GenAI试点项目需在AI注册表中注册。

文件背景

以下是文件中第2部分背景介绍，涵盖了GenAI（生成型人工智能）在海军陆战队中的应用背景、相关要求和潜在挑战。

a. GenAI能力的机遇：
GenAI技术为美国海军陆战队提供了重要的战略机遇。这些系统通过先进的AI算法，能够生成新的合成内容（如文本、图像、音频、视频），并根据人类设定的目标对现实或虚拟环境产生影响。具体而言，GenAI工具能够：

提高运行效率：通过自动化分析和快速生成内容，减少人为操作的时间成本。
提高决策准确性：通过处理大量数据并提供预测和建议，帮助指挥官做出更明智的决策。
减少人类参与危险任务：通过承担重复性、危险性任务，减少人员暴露在危险环境中的风险。
实时适应动态环境：根据实时数据进行动态调整，提供最佳的行动选项。

这些能力表明，GenAI有可能显著提升任务效率和作战准备，为现代战争提供战略优势。因此，海军陆战队的指挥官和高级领导应支持在其适用场景中使用GenAI工具。

b. 政策框架和法律要求：GenAI工具的使用必须遵循现有的法律、网络安全、信息安全、作战安全和保密政策，以及专门针对GenAI的政策。具体要求包括：

用户透明度：确保用户能够明确识别哪些系统依赖于GenAI，并能够接受或拒绝GenAI系统的输出。
敏感信息处理：在处理敏感和机密信息时，必须获得适当的批准，并遵循现有的软件和容器安全政策。
训练数据管理：在开发或微调GenAI模型之前，必须建立流程来记录训练数据的来源和属性，并进行版本控制。
授权和审批：在美国国防部信息网络（DoDIN）内运行的GenAI系统必须获得授权官员的批准，并利用政府数据进行创建或再训练时需遵循相关政策。
测试和评估：在受控环境中进行测试和评估，确保GenAI系统按预期运行，并解决其非确定性输出带来的工程挑战。

这些要求确保GenAI工具的使用符合法律和安全标准，并能够有效支持海军陆战队的任务需求。

c. 非确定性输出：
GenAI工具的输出通常具有非确定性，即使用相同的输入，结果也可能会有所不同。这种非确定性输出可以是文本、图像、音频、视频或其他形式的数据，且不遵循固定的格式。这种特性带来了以下挑战：

输出不一致：相同的输入可能产生不同的输出，增加了验证和确认的难度。
潜在误导：非确定性输出可能导致误导或错误的信息，需要有效的测试和评估方法来确保其准确性。

因此，需要建立系统级的防护措施，确保潜在的异常输出不会对任务产生负面影响。

d. 数据隐私、安全和内容控制：
GenAI工具在数据隐私、安全和内容控制方面提出了独特的挑战：

数据隐私和安全：使用GenAI工具时，必须对其进行评估和监控，以确保符合政府信息系统的使用政策。
内容控制：GenAI工具可能生成不准确、误导性、虚假和有偏差的结果，需要有效的持续测试和评估方法来确保其输出符合合理预期。

这些挑战要求对GenAI工具的使用进行严格的管理和监控，以确保其安全和合规。

e. 不准确和偏差问题：
GenAI工具可能产生不准确、 misleading（误导）、虚假和 biased（有偏差）的结果。这需要有效的持续测试和评估方法，以确保其输出符合合理预期。具体措施包括：

测试和评估：在受控环境中进行持续的测试和评估，确保GenAI系统的输出准确可靠。
透明度和可解释性：提供模型输出的透明度和可解释性，包括数据来源、模型训练数据和GenAI组件的使用情况。

这些措施有助于识别和纠正GenAI工具的潜在偏差和不准确性，确保其输出可信和可靠。

f. AI任务小组和治理流程：
各指挥部门需要成立AI任务小组或细胞，由数据、知识管理、AI和数字操作领域的专家组成。这些小组的职责包括：

评估现有和开发中的GenAI工具：确定其在海军陆战队中的适用性。
制定优先GenAI能力列表：为寻求应用GenAI解决方案的组织提供参考。
治理和风险管理：建立全面的治理流程，平衡GenAI工具的收益和潜在风险，确保其使用支持更广泛的组织目标，同时维护操作安全和完整性。

这些小组的成立有助于有效管理和利用GenAI工具，确保其在海军陆战队中的应用符合伦理和安全标准。

管理要求

第4部分详细规定了与生成型人工智能（GenAI）系统的开发、使用和管理相关的具体要求和职责。以下详细介绍：

a. 开发者和系统所有者：

开发者和系统所有者在GenAI系统的开发和部署过程中承担重要责任，具体要求包括：

遵循现有政策：开发者和系统所有者必须确保其GenAI系统遵守现有的法律、网络安全、信息安全、操作安全和分类政策，以及专门针对GenAI的政策（参考文献a到h）。这意味着所有GenAI工具的开发和使用必须在合规的框架内进行。
用户透明度：开发者和系统所有者有责任确保用户能够轻松识别哪些系统依赖于GenAI工具，并且用户能够接受或拒绝GenAI系统的输出。这确保了用户对系统行为的知情权和控制权。
敏感信息处理：开发者和系统所有者必须理解并获得处理敏感和机密信息的适当批准，遵循现有的软件和容器安全政策（参考文献a和c）。这确保了在处理涉密信息时，GenAI系统不会违反安全规定。
训练数据管理：在开发或微调GenAI模型之前，必须建立流程来记录训练数据的来源和属性，并进行版本控制。这确保了数据的可追溯性和模型的可重复性。
授权和审批：在国防部信息网络（DoDIN）内运行的GenAI系统必须获得授权官员的批准，才能利用政府数据进行创建或再训练。这包括集成点、访问硬件、软件和与其他系统的接口。此外，还需利用认证的互认机制。
测试和评估：开发者和系统所有者必须在受控环境中进行测试和评估，确保GenAI系统按预期运行。由于GenAI系统的非确定性，这种测试和评估需要定期进行。可能还需要系统级的防护措施，以防止潜在的异常输出对任务产生负面影响。
透明度和可解释性：开发者和系统所有者必须提供模型输出的透明度和可解释性，包括数据来源、模型训练数据和GenAI组件的使用情况。这有助于用户理解和信任GenAI系统的输出。

b. 系统用户：

系统用户在使用GenAI工具时也承担一定的责任，具体包括：

输入责任：系统用户对其输入到GenAI系统中的信息负责，并且对这些信息没有隐私期望。这意味着用户需要对其输入的信息负责，并遵循相关政策。
输出责任：一旦用户接受了GenAI系统的输出，他们就需要对其负责。滥用政府软件将按照现有政策处理（参考文献a和e）。
信息安全：系统用户在将信息输入到公开可访问的GenAI系统时，必须遵守现有的法律、网络安全、信息、操作安全和分类政策，以及GenAI特定政策。封闭域工具可以根据其认证处理信息和数据。
输出验证：系统用户需要对其使用GenAI工具生成的产品和决策负责，并且应该对所有输出进行验证和质疑，确保其准确性和可靠性。
输出标注：系统用户有责任标记任何部分或全部由GenAI工具输出创建的文档。用户应根据具体情况的重要性，运用最佳判断来决定是否添加引用，确保透明度。

c. 使用GenAI系统的指挥部门：

指挥部门在管理和使用GenAI系统时，承担着重要的治理和风险管理职责，具体包括：

不禁止使用GenAI工具：指挥部门不鼓励禁止使用GenAI工具，而是建议遵循企业服务级别的标准，并定义与服务对齐的特定领域标准。这确保了GenAI工具的广泛应用和一致性。
综合治理流程：指挥部门需要建立全面的治理流程，平衡GenAI工具的收益和潜在风险，确保其使用支持更广泛的组织目标，同时维护操作安全和完整性。
识别开发者和用户：指挥部门有责任识别其GenAI开发者、系统所有者和系统用户，以减轻在工作流程中采用GenAI工具的剩余风险。
风险评估框架：指挥部门需要确保开发者、系统所有者和系统用户使用适当的风险评估框架。

d. 数据管理员和指挥首席数据与分析官：

数据管理员和指挥首席数据与分析官在数据管理和使用方面承担重要职责，具体包括：