一、sigmoid 函数
1.公式
y ( x ) = 1 1 + e − x y(x) = \frac{1}{1+e^{-x}} y(x)=1+e−x1
2.图像
3.性质
- (1) y ′ = y ∗ ( 1 − y ) y'= y*(1-y) y′=y∗(1−y)
- (2) y ′ y' y′导数的最大值为:1/4
4.作用
一般做神经网络最后一层的二分类来用
二、softmax函数
1.公式
y ( x ) = e x i ∑ i = 1 m e x i y(x)=\frac{e^xi}{\sum_{i=1}^m e^xi} y(x)=∑i=1mexiexi
2.图像
softmax没有图像,刻画的是百分比,解释图像为
4.作用
一般做神经网络最后一层的多分类来用
三、tanh函数
1.定义
y ( x ) = e x − e − x e x + e − x y(x)=\frac{e^x - e^{-x}}{e^x + e^{-x}} y(x)=ex+e−xex−e−x
2.图像
3.性质
- (1) y ′ = 1 − y 2 y'= 1- y^2 y′=1−y2
- (2) y ′ y' y′导数的最大值为:1
四、RELU函数
1.定义
2.图像
参考文献
1.https://blog.csdn.net/u014665013/article/details/86600489