一、前言
昨天开组会,借用线性回归讲了一波fgsm,发现效果还不错,于是今天跑过来水一篇博客(●’◡’●)
二、正文
线性回归
在开始讲fgsm之前呢,我先大概讲一波线性回归,方便引出fgsm,并不是线性回归教程,所以说不懂线性回归的同学还是先去看一看哈
目标:最小化损失函数
优化方法:梯度下降
参数的更新方式为
这里的原理是让参数往梯度的相反方向走,通过此方式让损失函数最小化
由线性回归过渡到fgsm
众所周知(/狗头嘿嘿),fgsm是一种基于梯度的攻击手段
目标:与线性回归相反,最大化损失函数
ps:这里的最大化不是真正的最大化
线性回归最小化损失函数的方式为:
与线性回归相反,若要增大损失函数,只需要让‘参数’往梯度相同的方向走
为什么‘参数’要加引号??
在线性回归中,训练样本已知,