人工智能攻防简单知识一览

黑盒:未知模型，调整输入，攻击

白盒：已知模型，进行攻击

对抗攻击：对抗样本的生成方式

对抗样本：添加扰动，使模型误分类

对抗攻击方法：

快速梯度攻击：让损失变大，增加梯度

雅克比映射：部分显著像素增加梯度

深度欺骗攻击：deepoo 求解正常样本被误分类需移动的最短距离

（鲁棒性：模型出现误分类的最小扰动）

对抗防御方法：

修改训练数据：

对抗训练：增加不寻常样本

预处理：随机加纹理

修改网络模型：

主要梯度加遮盖层

知识蒸馏增加模型平滑度

训练辅助网络：利用原始样本和对抗样本差异训练

DeepFake：

CNN->脸部特征

中间流畅度->表情

五官比例->连贯

人工智能可解释性：

提供细节和原因使模型运转能够被简单、清晰地理解

图片解释：

视觉解释方法（显著图）embeddings（直观解释

扰动解释方法（盖住一部分，判断哪部分重要性最高）

知识图谱：

构建不同特征内部地架构关联

外部知识引入：通过被误分类的距离评估贡献度

评估方法：去掉某一环，看是否会改变

数据：

联邦学习是一种隐私保护的分布式机器学习技术

云端下载在本地训练。加密训练上传到云端，聚合更新，迭代

前提假设：彼此信任（无恶意猜测+攻击）

然而：

模型受本地攻击

集中式不可信

不公平激励机制

所以使用同态加密：让数据"可算不可见"

引入区块链：去中心化信任机制

大会上的要求：技术向善，权责共担，健康有序，多元包容