AI安全研究发现
AI安全研究主要集中于:模型鲁棒性(对抗样本攻击)、机密性(成员推理攻击)、完整性(模型后门攻击)
e.g. 人脸识别身份认证协议的安全威胁:传输过程、感知器件、终端系统、宿主软件、业务代码、识别模型
联邦学习:面向端侧隐私保护的分布式学习模式,每个节点只需要提供梯度,广泛应用于开放环境中,同样也存在终端节点更易被恶意控制的威胁
安全问题:梯度投毒、梯度泄密
自动驾驶系统:多感知模块协同的智能系统,涉及软件安全、模型安全、策略安全
安全测试:道路测试+仿真测试
机器学习即服务:以预训练模型、API等形式提供
安全问题:开源模型存在后门、云端模型被窃取、原始数据被泄露
e.g. NLP训练模型中间结果(BERT)泄露原始数据、模型量化存在后门
模型知识产权保护:模型指纹
物联网带外脆弱性
物联网:感知+控制
带外脆弱性:无人系统“信号-信息”的失配映射(超限/奇异映射)
BCSD:二进制代码相似性检测
应用:代码克隆检测、相似漏洞挖掘、对比补丁检测
传统方法:语义、CFG方法(控制流图相似性)、I/O相似性
人工智能方法:将函数映射为向量,对向量的相似性进行比较