神经网络激活函数的选择,神经网络不用激活函数

最新推荐文章于 2024-02-20 20:37:24 发布

ai智能网络

最新推荐文章于 2024-02-20 20:37:24 发布

阅读量461

点赞数

文章标签：神经网络机器学习深度学习

本文链接：https://blog.csdn.net/super67269/article/details/127459957

版权

谷歌人工智能写作项目：神经网络伪原创

第一，对于神经网络来说，网络的每一层相当于f(wx+b)=f(w'x)，对于线性函数，其实相当于f(x)=x，那么在线性激活函数下，每一层相当于用一个矩阵去乘以x，那么多层就是反复的用矩阵去乘以输入写作猫。

根据矩阵的乘法法则，多个矩阵相乘得到一个大矩阵。所以线性激励函数下，多层网络与一层网络相当。如，两层的网络f(W1*f(W2x))=W1W2x=Wx。第二，非线性变换是深度学习有效的原因之一。

原因在于非线性相当于对空间进行变换，变换完成后相当于对问题空间进行简化，原来线性不可解的问题现在变得可以解了。下图可以很好解释这个问题，左图用一根线是无法划分的。

经过一系列变换后，就变成线性可解的问题了。

如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。

正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。

最早的想法是sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入。

如果使用线性激活函数或者没有使用一个激活函数，那么无论神经网络有多少层一直在做的只是计算线性函数，线性隐层一点用也没有，因为这两个线性函数的组合本身就是线性函数，所以除非引入非线性，否则无法计算非线性的函数，即使网络层数再多也不行；

提问：bp神经网络为什么要采用非线性函数来进行预测？回答：简单的讲，主要是复杂的bp神经网络的行为动态及神经元之间的相互作用是无法用简单的线性函数来描述的！

一般来讲，用数学函数模拟一个系统输入与输出的关系（系统函数）时，设其函数为f(x),则它可以表征为一个输入变量x的多项式，即 f(x)=∑an*x^n ∣n=0 ->∞.; 当n≥2时，f(x)就成为非线性函数了。

an是每个x高次项的系数。可以用具体的实际实验数据来确定。

百度知道真是烂得可以，前面几个回答答非所问，实在看不过去了。relu是非线性激活函数题主的疑问在于，为什么relu这种“看似线性”（分段线性）的激活函数所形成的网络，居然能够增加非线性的表达能力。

1、首先什么是线性的网络，如果把线性网络看成一个大的矩阵M。那么输入样本A和B，则会经过同样的线性变换MA，MB（这里A和B经历的线性变换矩阵M是一样的）。

2、的确对于单一的样本A，经过由relu激活函数所构成神经网络，其过程确实可以等价是经过了一个线性变换M1，但是对于样本B，在经过同样的网络时，由于每个神经元是否激活（0或者Wx+b）与样本A经过时情形不同了（不同样本），因此B所经历的线性变换M2并不等于M1。

因此，relu构成的神经网络虽然对每个样本都是线性变换，但是不同样本之间经历的线性变换M并不一样，所以整个样本空间在经过relu构成的网络时其实是经历了非线性变换的。

3、还有一种解释就是，不同样本的同一个feature，在通过relu构成的神经网络时，流经的路径不一样（relu激活值为0，则堵塞；激活值为本身，则通过），因此最终的输出空间其实是输入空间的非线性变换得来的。

4、更极端的，不管是tanh还是sigmoid，你都可以把它们近似看成是分段线性的函数（很多段），但依然能够有非线性表达能力；relu虽然只有两段，但同样也是非线性激活函数，道理与之是一样的。

5、relu的优势在于运算简单，网络学习速度快。

1、严格来说的话ReLU算是分段线性函数。中间隐层激活函数采用线性函数（例如恒等变换）不好是因为，最后算下来多层网络跟单层网络一个效果。其实激活函数的存在是为了神经网络更好的拟合目标函数而已。

2、ReLU比sigmoid和tanh好是因为它的收敛速度快（sigmoid、tanh函数在自变量比较大的时候导数很小，采用梯度下降法变化缓慢，特别是多层网络就更慢了）,计算量比较小（只需要一个阈值进行比较而不需要做函数运算）。

关注