【神经网络】激活函数

简介：
激活函数作用：加入了非线性因素，解决了线性模型缺陷，使得神经网络可以逼近非线性函数
神经网络常用的激活函数：sigmoid，Tanh，relu等，relu最常用
1、sigmoid ：
值域:（0,1）能把输出值压缩到0-1之间

tf.nn.sigmoid(x, name=None)

2、tanh
作用：放大差异性 相比于sigmoid，值域为(-1，1），值域更广，但是和个sigmoid一样，输入值的绝对值不能过大，过大模型无法训练。
取值范围：-1，1

tf.nn.tanh(x,name=None)

3、relu
小于0，= 0 很；变为了0，做了稀疏化特征，降低了干扰，分布更好找，网络收敛加快，
大于0 = self
作用：降维，对于所有的正值的输入输出梯度都是1，缓解了梯度消失，网络收敛加快