Tensor中的激活函数

ReLU是常用在隐藏层的激活函数，Softmax是常用在输出层的激活函数，Cross Entropy

ReLU

数学公式：

f(x)=max(x,0)

当x小于0时，y=0，当x >= 0时，y=x。

Softmax

数学公式：

Softmax示例

 

将任意一组输入，压缩为一组和为1的数。
TensorFlow实现：

x = tf.nn.softmax([1.2, 0.9, 0.4])

Cross Enropy

Cross entropy loss funtion

 

TensorFlow实现：

cross_entropy = tf.reduce_sum(tf.multiply([0.0, 1.0, 0.0], tf.log([0.1, 0.5, 0.4]))

 

来源：https://www.jianshu.com/p/d84e250c5848