(一)NN模型(neural network)
1.NN模型是复杂神经网络模型的基础计算单元,广泛使用于各种神经网络模型中,如下所示:
2.NN模型常见的激活函数主要有3种:sigmoid函数,tanh函数,以及ReLU(rectified linear unit)函数,分别如下:
3.NN模型若放在输出层,不同的任务使用不同的激活函数:
(1)multi-class:使用softmax函数
(2)multi-label:每个节点使用一个sigmoid函数
(二)FFNN模型(feedforward neural network)
1.前向传播网络如下,在输入层输入数据后,根据NN模型依次进行计算即可得输出,该网络常用于