干货！重新思考希尔伯特-施密特信息瓶颈在对抗性鲁棒性中的应用

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

本文首次提出将希尔伯特-施密特信息瓶颈（HSIC Information Bottleneck）用于神经网络优化目标中的正则项来提升模型的对抗鲁棒性（adversarial robustness）。

我们通过把HSIC Bottleneck正则项部署在神经网络的每一个中间层中，实现了在保留关键信息的前提下对隐藏特征的去冗余。

特别地，我们通过实验以及理论推导证明了该正则项能够降低分类器对于对抗样本的敏感度。

实验证明，我们提出的HSIC Bottleneck正则项不论在是否生成额外对抗样本训练的情况下都能够显著提高模型的鲁棒性。

本期AI TIME PhD直播间，我们邀请到美国东北大学计算机工程系在读博士生——王梓枫，为我们带来报告分享《重新思考希尔伯特-施密特信息瓶颈在对抗性鲁棒性中的应用》。

王梓枫：

美国东北大学计算机工程系在读博士生，导师为Jennifer Dy教授。2018年毕业于清华大学电子工程系，主要研究方向为终身机器学习(continual learning)，神经网络鲁棒性(adversarial robustness)，在NeurIPS、CVPR、ECCV、ICDM等人工智能相关会议发表多篇论文。

Adversarial Example对抗样本

对抗样本，是将一些原始的、正常的样本以及人为生成的微小扰动组合在一起的。

由下图可以看出，被扰动的样本和原始样本的区别不大，甚至肉眼难以区分。

对于我们人类而言，最后仍然可以把这些对抗样本分类正确。但是对于深度学习模型来说，就有可能产生错误的结果。

我们说一个模型具有鲁棒性，就是指在其生成对抗样本之后，依然具有将其分类正确的能力。

如果我们人为生成很多对抗样本并给到神经网络去训练，就可以得到一个比较鲁棒的神经网络。

不过，生成对抗样本以及使用对抗样本去训练神经网络是一个非常需要计算资源和时间的过程。