深度学习-Sigmoid函数和Softmax函数

1.Sigmoid函数：

定义：

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间，一般用来做二分类。

公式：

图像：

特点：

当x趋近于负无穷时，y趋近于0；当x趋近于正无穷时，y趋近于1；当x= 0时，y=0.5。

优点：

sigmoid函数的输出映射在（0，1）之间，单调连续，输出范围有限，优化稳定，可以用作输出层。

缺点：

1.由于其饱和性，容易出现梯度消失，导致训练出现问题。

2.sigmoid的输