神经网络传递函数sigmoid,神经网络传递函数作用

神经网络传递函数选取不同会有特别大差别嘛？

只是最后一层，但前面层是非线性，那么可能存在区别不大的情况。

线性函数f(a*input)=af(input),一般来说，input为向量，最简化情况下，可以假设input的各个维度，a1=a2=a3。。。

意味着你线性层只是简单的对输入做了scale~而神经网络能起作用的原因，在于通过足够复杂的非线性函数，来模拟任何的分布。所以，神经网络必须要用非线性函数。理论上，任意连续可导的函数（不要求处处可导）

谷歌人工智能写作项目：神经网络伪原创

神经网络的激活函数和传递函数有什么区别？

理论上讲任何一个连续的非多项式、常数函数都可以做为BP的激活函数，而且这都是已经在数学上证明过的问题AI爱发猫。

但sigmoid函数相对其他函数有它自身的优点，比如说光滑性，鲁棒性，以及在求导的时候可以用它自身的某种形式来表示。这一点在做数值试验的时候很重要，因为权值的反向传播，要求激活函数的导数。

多层就有多个导数，如果用一般的连续函数，这对计算机的存储和运算都是一个问题，此外还要考虑整个模型的收敛速度，我上面提到连续函数都可以做激活函数。

但是相应的Sigmoidal型函数的收敛速度还是比较快的，&