matlab用relu函数优化逻辑回归_神经网络中常见的激活函数

一：什么是激活函数

在神经网络中，每个节点的输入是上一层节点输出值的线性组合，该节点的输出值是该线性组合进行非线性变换后的值。对线性组合进行非线性变换的函数就是本文要讨论的激活函数。如图1-1所示，就是一个神经元节点，它接收一个线性组合的值，然后通过激活函数f，再输出激活后的值。

图1-1

二：激活函数的作用

激活函数在神经网络中起到了非线性映射的作用，使神经网络能够提取充分的特征。如果不使用激活函数，神经网络不能解决非线性问题。如图2-1所示，是使用激活函数和不使用激活函数在非线性数据上的表现。

图2-1

激活函数必须是非线性函数。神经网络模型是一种层次模型，如果激活函数是线性函数，那么多层的神经网络和一层的神经网络是等价的，并不能发挥神经网络逐层提取特征的优势。下面我们简单证明一下，如果激活函数是线性函数，那么多层神经网络和一层神经网络是等价的。

如图2-2所示，是一个只含有一层隐层的全连接神经网络

图2-2

我们设激活函数，该神经网络的输出值是我们删除隐层，得到如图2-3所示的神经网络

图2-3

该神经网络的输出值是