对抗样本的线性生成和神经网络的非线性

深度学习对于对抗样本表现得脆弱性产生的原因
前言：最先推断性的解释是深度神经网络的高度非线性特征，以及纯粹的监督模型中不充分的模型平均的正则化所导致的过拟合
实验结果：在lan Goodfellow在ICLR2015年的论文中，通过一个线性模型加入对抗干扰，发现模型的输入拥有足够的维度，线性模型也对对抗样本表现出明显的脆弱性，驳斥了关于对抗样本因为模型的高度非线性的解释。
结论：深度学习对抗样本是由于模型的线性特征。

线性模型和非线性模型的区别
线性模型时可以用曲线拟合样本，但是分了跌决策边界一定是直线的
区分是否为线性模型。主要看一个乘法式子中自变量x前的系数W，如果W只影响一个x,那么此模型为线性模型，否则判断决策边界是否是线性的

最简单的判别一个模型是否为线性的，只需判别决策边界是否是直线，也就是是否能用一条直线来划分

神经网络是非线性的
神经网络虽然每个节点是一个logistics模型，但是组合起来就是一个非线性模型。

所以可以看出神经网络是非线性的。

激活函数可以产生非线性的变换，但对于神经网络模型而言，整个处理费线性可分的能力关键不在于激活函数，而是神经网络之间的多层叠加，使得处理线性可分的问题的神经元可以处理非线性可分问题。
激活函数肚饿作用同样必不可少神经网络中的神经元都不带激活函数，那么神经元无论怎么叠加，都只能处理线性问题。
虽然没有激活函数时，每个变量也被多个权值所影响，但不同的是，此时每个变都以独立于其他变量区分开来。当引入非线性的激活函数时，每个变量是无法与其他变量所独立开来的。
总结：神经网络的非线性能力体现在激活函数上

最后：对抗样本的生成是由于神经网络中的线性特征，神经元所表现的线性特征使得在高维空间中，当样本发生极小改变时，能使得神经网络的判别发生巨大的误差。