非线性激活函数的理解

根据万能逼近定理(Universal Approximation Theory)，神经网络能以任意精度逼近连续函数。线性函数的线性组合还是线性函数，所以线性函数不能以任意精度逼近连续函数。

训练神经网络时，先随机初始化卷积核参数，把卷积层的结果输入激活函数层，达到某个阈值则激活该神经元，否则设置为0(ReLU)，之后进入池化层。把池化层的输出与真值相减，得到损失函数loss，沿着loss的负梯度方向反向传播，更新卷积核参数。

如果没有非线性激活函数的话，多层神经网络和一层神经网络是一样的，都是卷积核的线性组合[1]。

[1]. https://blog.csdn.net/qq_36825778/article/details/102474345