激活函数和全连接层——基于Pytorch

1、激活函数

1.1、什么是激活函数？

神经网络中的每个神经元接受上一层的输出值作为本神经元的输入值，并将处理结果传递给下一层(隐藏层或输出层)。在多层神经网络中，上层的输出和下层的输入之间具有一个函数关系，这个函数称为激活函数。

我们先来看一个简单的神经网络，如下图：

它由一个输入层，一个隐藏层和一个输出层组成。隐藏层含3个神经元，其中一个神经元内部结构如下图：

1.2、为什么需要激活函数？

如果不用激活函数，每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，那么网络的逼近能力就相当有限。
就如上图的神经网络，如果没有激活函数，那么：
$Output=w7(input1\ast w1+input2\ast w2)+w8(input1\ast w3+input2\ast w4)+w9(input1\ast w5+input2\ast w6)$