本文记录了自己准备写一篇介绍对抗样本的科普文章是在YouTube看Ian Goodfellow的一些视频资料学习做的笔记,以及在研究对抗样本(主要)和GAN时看到的技术博客的链接。
笔记是随意记的。
资料收集
博士答辩
在Ian博士答辩时总结到’Generative models useful for missing value problems’ in 2014. 和非监督学习.
解释maximum likelihood estimation
用模型描述事件发生的概率,模型的参数决定模型对不同事件赋予的概率。MLE是选择参数使来自数据集的事件的概率最大。
解释gradient descent
想要最小化一个目标函数/损失函数,对某个点,若导数为正,则往导数的反方向,直到导数为0.
在最后’over the next five years, hopefully we’ll learn how to do well without needing so much data, and we’ll be able to leverage the unsupervised learning techniques that have somewhat fallen out of fashion bu haven’t yet fully reached their potentail.’
Udacity talk
Ian talk from 3:50-
adversarial ML.
现在的ML assume train data 和 test data 量一样, 这个假设暗含着” there’s no opportunity for someone to interfere with the operation of the model”.
现在在不干预data的情况下, 许多app已经足够好了, human-level. 目标: harder problem, 使ML在别人攻击的情况下, 也能work well.
介绍 adversarial example, 其pervasive,对不同模型都有效. robust, 现实生活中, 即使相机拍摄的照片,角度光照不同, 亦或者是不同文件格式如jpeg压缩过的图像, 仍有效.
Ian 用了许多时间训练ML system(一般都是classifer)对attacker 是harder to break的.
提出GAN, 有趣的角度, train a classifer to decide input real or fake, 然后 try to