激活函数:
激活函数是使线性函数变成非线性,使神经网络表达能力更强,几乎可以逼近任意函数。值域是-1到1或者0到1,定义域负无穷到正无穷。在-1和1区间梯度很大,而在其他地方很小。
激活函数一:sigmoid
sigonid表达式:
sigmoid函数图像:
sigmoid函数值域在(0,1)所以非常适合做概率问题;
激活函数二:tanh
tanh函数表达式:
图像为:
tanh值域在(-1,1);在区间(-1,1)上的最大梯度是1,比sigmoid梯度0.25大,因此更适合做深度学习的激活函数。
激活函数三:ReLU
ReLU函数表达式:
ReLU图像:
ReLU函数在大于0时有梯度且恒定,小于0后梯度恒等于0。收敛速度远快于sigmoid和tanh,计算速度非常快,只需要判断输入是否大于0。