清华大学董胤蓬：Adversarial Robustness of Deep Learning

2020-01-21 12:30:00

不到现场，照样看最干货的学术报告！

 

嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现场视频——足够干货，足够新鲜！话不多说，快快看过来，希望这些优秀的青年学者、专家杰青的学术报告 ，能让您在业余时间的知识阅读更有价值。

---

人工智能论坛如今浩如烟海，有硬货、有干货的讲座却百里挑一。AI未来说·青年学术论坛自 2019 年 1 月 19 日启动以来，论坛已连续举办十二期，累计吸引上万人报名参加，报名群体遍布全国三十多个省份，境内外十三个国家，四百余所高校和科研院所。 第十二期AI未来说·青年学术论坛（百度奖学金博士生特别专场）已于2020年1月5日下午在北京市百度科技园 K6 报告厅举行。清华大学董胤蓬为大家带来报告《Adversarial Robustness of Deep Learning》。

 

董胤蓬，清华大学计算机系人工智能研究院三年级博士生，导师为朱军教授。主要研究方向为机器学习与计算机视觉，聚焦深度学习在对抗环境中的鲁棒性的研究。

报告内容：针对的是现有深度学习模型容易被攻击者的对抗样本所欺骗的问题，董博士在深度学习在对抗环境中的鲁棒性的三项研究成果。

 

Adversarial Robustness of Deep Learning

 

深度学习这两年取得了很多进展，相关模型也被用于各类系统。但与此同时，深度学习模型的可靠性也受到诸多考验。多种发现表明，深度学习模型容易被攻击者的对抗样本所欺骗，即攻击者向原始样本中添加一些微小的样本，而这些样本会导致模型将该项本错误地归类。一些样本在人眼看来和原张没有区别，但深度学习模型却做出了错误的判断，这会带来一些很实际的安全隐患。在实际系统当中也存在对抗样本，如在交通数据中添加一些噪声，就会使得自动驾驶系统预测错误。

对抗样本可以归结为优化问题，为求解这样的优化问题，有很多方法用于寻找对抗样本，或是直接优化对抗样本。很多方法都需要获取网络梯度，即网络参数信息，这被称为白盒攻击，而无需网络梯度的方法被称为黑盒攻击。基于对抗样本的迁移性能，即针对一种模型的对抗样本，也能欺骗其他模型，这可以产生对抗样本。另一方面，可以通过估计模型梯度，或者随机搜索的方法寻找对抗样本。

董博士的第一项工作是动量迭代式样本生成方法。对抗样本的迁移性能和白盒攻击能力是无法两全需要权衡的。借鉴优化领域的动量算法，在对抗样本的生成过程中，记录并使用了动量叠加过程，这样既提高了对抗样本的迁移性能，提升了对黑盒模型的攻击能力，又能够对白盒模型不过于敏感。

现有一些方法能够提升模型的防御力。董博士的第二项工作是通过图像变换、频域变换，相比其他算法，在攻击效率不变的同时，减少对当前模型的敏感程度，更好地攻击具有防御的黑盒模型。

第三项工作是结合未知网络梯度的攻击方法和网络梯度估计方法，更有效地提升黑盒攻击。