学习地越多，知道的越少

今天说一个深度学习里面经常出现，但是未必人人都能 get 到直观感受的概念：范数，英文名叫 norm。1. 直观理解本质上来讲，是用来衡量一个向量（vector）的规模的。什么叫规模，举个例子：x: tensor([[1., 1., 1.], [1., 1., 1.], [1., 1., 1.]])y: tensor([1., 1.])他们的 ...

核心观点：神经网络对于对抗样本的攻击如此脆弱的原因，是因为网络的线性本质。文章还提出了最早的 FGSM （Fast Gradient Sigh Method）对抗样本生成方法。通过在训练样本中加入一定的对抗样本（随机生成），可以对模型起到一定的正则化作用。insight利用非线性可以抵抗对抗样本，但是非线性的模型又没有线性模型好训练优化，所以未来的思路可能是：设计一套优化方法，可以用来很...