人工智能安全

人工智能安全

白皮书学习：2018年《人工智能安全》-中国信息通信研究院

人工智能概念

人工智能是利用人为制造来实现智能机器或者机器上的智能系统，模拟、延伸和扩展人类智能，感知环境，获取知识并使用知识获得最佳结果的理论、方法和技术。

人工智能：

1，人为设计一个智能系统

2，目标：模拟、延伸、扩展人类智能

3，获取知识

4，使用知识获取最佳结果

希望机器或者系统能够模拟人类智慧

发展阶段

弱人工智能：特定领域、有限规则；面向特定领域的专用智能

强人工智能：

超人工智能

人工智能安全内涵（三个维度）

安全风险

成因

人工智能技术的不成熟性导致的安全风险

算法不可解释性、数据强依赖性等技术局限性问题

• 人工智能技术与产业对网络空间安全和社会安全造成的负面影响

影响

随着人工智能技术的迅速发展，以及和各类传统行业深度融合的趋势，人工智能的安全风险也会动态演进，

广泛存在于各个行业（泛在化），各种应用场景（场景化），以及多种安全风险同时存在（融合化）。

四类网络空间安全风险：

• 网络安全风险

A提升网络攻击效率

AI加剧网络攻击破坏程度

• 数据安全风险

逆向攻击可导致算法模型内部的数据泄露。（模型内部训练数据、模型运行时采集数据）

强大的数据挖掘能力，加大隐私泄露风险。

• 算法安全风险

算法设计或实施有误可产生与预期不符甚至伤害性结果。（算法设计，或者训练实施方法导致模型的泛化型有限，表达能力不够）

数据导致的模型拟合偏差。

可解释性的不足导致无法对算法进行有效监督和审查。

• 信息安全风险

智能推荐加速不良信息传播

利用AI技术制作虚假信息内容

社会安全风险

结构性失业

高度自制系统的安全风险

国家安全风险

安全应用

人工智能技术可应用于网络安全与公共安全领域，感知、预测、预警信息基础设施和社会经济运行的重大态势，主动决策反应，提升网络防护能力与社会治理能力。

• 人工智能技术在网络空间安全领域和社会公共安全领域中的具体应用方法

智能安防

人工智能技术推动安防领域从被动防御向主动判断、及时预警的智能化方向发展。

---

场所安全—智能安防是人工智能技术与社会公共安全领域深度融合的重要应用之一。

安全管理

构建人工智能安全管理体系，保障人工智能安全稳步发展

• 有效管控人工智能安全风险并促进人工智能技术在安全领域的应用 — 构建体系作用

安全管理六方面

包涵法规政策、标准规范、技术手段、安全评估、人才队伍、可控生态六个方面的人工智能安全管理思路

• 标准规范：加强人工智能安全要求、安全评估评测等方面
• 技术手段：建设AI安全风险监测预警、态势感知、应急处置？？
• 安全评估：构建第三方安全评估评测能力（包括评估评测指标、方法、工具、平台研发）
• 人才队伍：稳定的人才供给和合理人才梯队，促进AI安全持续发展
• 可控生态：加强人工智能产业生态中薄弱环节的研究和投入，提升产业生态的自我主导能力，保障人工智能安全可控发展

安全标准规范制定

• 为什么？

人工智能自身安全或基础共性相关的安全参考架构**、安全评估、伦理设计、安全要求和测评方法等标准还很少。

• 做什么？

研究AI技术训练算法、决策模型等相关安全技术要求

形成涵盖AI产品、系统的网络安全、数据安全、算法安全和应用安全的系列安全标准体系

• 意义？

作为AI产品设计和测试验证的统一参考，提升AI产品的安全可靠性能

• 怎么用？

以此标准为基础，开展人工智能产品、应用和服务的安全评估评测技术攻关。

积累安全检测样例库、测试样本库等知识资源，形成共享数据集，

研发测试工具集；

构建人工智能安全检测认证的公共服务平台；

建立评估专家库和评估机制；

实现人工智能安全的评估评测能力

安全技术手段建设

• 安全监管技术

  及时发现AI产品和应用中的安全问题，应急处置，降低安全问题影响

  • 双层监管结构

    设计问责； 应用监督并重的双层监管结构

    实现对人工智能算法设计、产品开发和成果应用等的全流程监管

• 安全防护技术

  增强安全防护能力，提升人工智能产品和应用的安全可靠性能

人工智能安全的应对

1，技术攻关

2，提高安全标准，推行人工智能产品安全认证

3，建设安全技术手段

4，国际交流合作