人工智能安全态势和趋势

吴世忠

中工院士 国家保密科技委主任

重大风险隐患呼唤加强安全研究，人工智能面临未来担忧

1 总体态势

1.1 相对于技术发展，安全研究严重滞后

1.2 我国研究十分活跃，论文数量遥遥领先

1.3 影响力美国排名第一，大厂大学作用大

1.4 研究范围宽阔，安全内涵外延拓展

从传统在机密性、可靠性、完整性、逐步扩展到公平性、伦理性等

1.5 头部企业共识渐成，纷纷加大安全投入

1.6 大国博弈日益加剧，安全成为竞争售点

2 现状与趋势

2.1 学术研究的四大方向

2.1.1 理论研究

2.2 技术应用的五大领域

2.2.1 安全风险：验证技术机理，识别应用风险

虚假信息传播

有害内容

2.2.2 安全防护

2.2.3 安全攻击：立足以攻促防，强化积极防御

2.2.4 安全测评

2.2.5 安全治理：平衡发展安全，落实治理要求

2.3 未来展望九大问题

2.3.1 自身安全

1. 更高水平的可解释性和透明性
2. 安全性和可靠性的增强
3. 公平性和伦理研究的深入

   

2.3.2 网络安全

1. 更复杂和广泛的对抗性
2. 更加增强的隐私保护技术
3. 自动化攻击与防御对抗

2.3.3 发展安全

1. 跨模态、多模态安全
2. 抗量子AI安全技术
3. 人机交互安全技术

3 启示

3.1 安全认知，日渐清晰

攻防安全+自身安全+伦理安全

3.2 安全研究，路阻且长

1. 大模型解释性和透明性
2. 伦理和道德复杂性和多样性
3. 安全保障技术复杂性和多样性
4. 对象复杂性，标准多样，方法完备性，工具局限性

2.3 安全事业大有可为

安全产业迈入AI程度驱动的新时代

1. 更及时的威胁感知

2.4 紧跟创新，保障发展

1. 紧扣AI进化中的安全风险
2. 促进发展的治理策略
3. 更多采用跨学科研究方法