深度学习常用激活函数之— Sigmoid & ReLU & Softmax

参考：https://blog.csdn.net/leo_xu06/article/details/53708647

参考2：https://blog.csdn.net/ericcchen/article/details/80102006



参考3：http://www.c-s-a.org.cn/html/2018/7/6463.html

1.激活函数如何影响神经网络？
神经网络中激活函数的主要作用是提供网络的非线性建模能力. 如果网络中仅包含线性卷积和全连接运算, 网络仅能够表达线性映射, 即便增加网络的深度也依旧是线性映射, 难以有效建模实际环境中非线性分布的数据. 当激活函数应用于深度神经网络时, 其主要在前向传播和反向传播两个过程中对网络训练产生影响.