bp神经网络选择激活sigmoid函数,还有tansig函数的优缺点?求告知?
(1)对于深度神经网络,中间的隐层的输出必须有一个激活函数。否则多个隐层的作用和没有隐层相同。这个激活函数不一定是sigmoid,常见的有sigmoid、tanh、relu等。
(2)对于二分类问题,输出层是sigmoid函数。这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间。函数值恰好可以解释为属于正类的概率(概率的取值范围是0~1)。
另外,sigmoid函数单调递增,连续可导,导数形式非常简单,是一个比较合适的函数(3)对于多分类问题,输出层就必须是softmax函数了。softmax函数是sigmoid函数的推广。
神经网络是怎样逼近函数的?可以得到一个函数表达式吗?这个函数曲线一定光滑吗? 5
神经网络的基函数和激活函数有什么区别吗
理论上讲任何一个连续的非多项式、常数函数都可以做为BP的激活函数,而且这都是已经在数学上证明过的问题。
但sigmoid函数相对其他函数有它自身的优点,比如说光滑性,鲁棒性,以及在求导的时候可以用它自身的某种形式来表示。这一点在做数值试验的时候很重要,因为权值的反向传播,要求激活函数的导数 。
多层就有多个导数,如果用一般的连续函数,这对计算机的存储和运算都是一个问题,此外还要考虑整个模型的收敛速度,我上面提到连续函数都可以做激活函