[机器学习] softmax,sigmoid,relu,tanh激活函数

参考： https://blog.csdn.net/weixin_43483381/article/details/105232610
参考 ：https://blog.csdn.net/zhuiyuanzhongjia/article/details/80576779
参考： https://www.sohu.com/a/452666201_809317

softmax 与 sigmoid 结构上的区别：

可以看出最大的区别在于softmax的计算的是一个比重，而sigmoid只是对每一个输出值进行非线性化。

但是当输出层为一个神经元时，此时会使用sigmoid代替softmax，因为此时还按照softmax公式的话计算值为1。

softmax一般用于