激活函数--activation function
介绍一下几种激活函数的不同
1、tf.nn.relu(features, name=None)
输入:features:是一个张量Tensor,格式必须为:float32, float64, int32, int64, uint8, int16, int8当中的一种。
实质:计算整数线性,输入的特征(features)中的矩阵元素,与0进行比较:max(features,0)
代码执行如下:
2、tf.nn.relu6(features, name=None)
输入:
features:是一个张量Tensor,格式必须为:float32, float64, int32, int64, uint8, int16, int8当中的一种。
输入矩阵和上面一样。
实质:对整数的tensor进行非线性变换,实质是输的feaetures中的元素先与0进行比较,用0 代替其中的小于零的元素得到features1,再把features1中的元素与6 进行比较,用6 代替大于六的元素:min(max(features, 0), 6)
代码执行如下:
3、tf.nn.softplus(features, name=None)
输入:
features:是一个张量Tensor,格式必须为:float32, float64, int32, int64, uint8, int16, int8当中的一种。
实质:对features中的元素进行的运算,在结果中分别再加上1,再把加一之后的结果取对数:log(exp(features) + 1)
代码执行如下:
4、tf.nn.sigmoid(features,name=None)
输入:
features:是一个张量Tensor,格式必须为:ffloat, double, int32, complex64, int64, 或者 qint32.当中的一种。
实质:y = 1 / (1 + exp(-x))
执行结果如下:
5. tf.nn.tanh(features,name=None)
输入:
features:是一个张量Tensor,格式必须为:float, double, int32, complex64, int64, 或者 qint32
实质:计算元素的双曲正切函数
函数图形如下:
代码执行结果:
有什么深度学习、机器学习、计算机视觉、图像识别、目标检测、图像语义检测的问题,咱们可以互相探讨,个人微信