tf.nn.softmax_cross_entropy_with_logits的用法

tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)
除去name参数用以指定该操作的name,与方法有关的一共两个参数:

第一个参数logits:就是神经网络最后一层的输出,未经过soft_max

第二个参数labels:实际的标签,需要是one-hot格式

具体的执行流程大概分为两步:

第一步是先对网络最后一层的输出做一个softmax

softmax的公式是:

softmax

第二步是softmax的输出向量[Y1,Y2,Y3…]和样本的实际标签做一个交叉熵,公式如下:

交叉熵

注意!!!因为一个batch一般不止一组数据,所以softmax_cross_entropy_with_logits得到的是一组向量,向量的长度就是batch_size ,我们要再做一步tf.reduce_sum操作,就是对向量里面所有元素求和

与此相识的一个函数是tf.nn.sparse_softmax_cross_entropy_with_logits ,这个函数的输入”不是one-hot格式!!”

理论讲完了,上代码

import tensorflow as tf

# our NN's output
logits = tf.constant([[1.0, 2.0, 3.0], [1.0, 2.0, 3.0], [1.0, 2.0, 3.0]])
# step1:do softmax
y = tf.nn.softmax(logits)
# true label
y_ = tf.constant([[0.0, 0.0, 1.0], [0.0, 0.0, 1.0], [0.0, 0.0, 1.0]])
# step2:do cross_entropy
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
# do cross_entropy just one step
cross_entropy2 = tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y_))  # dont forget tf.reduce_sum()!!

before_reduce_sum_1 = - y_ * tf.log(y)

before_reduce_sum_2 = tf.nn.softmax_cross_entropy_with_logits(logits=logits,labels=y_)

with tf.Session() as sess:
    softmax = sess.run(y)
    c_e = sess.run(cross_entropy)
    c_e2 = sess.run(cross_entropy2)
    c_e3 = sess.run(before_reduce_sum_1)
    c_e4 = sess.run(before_reduce_sum_2)
    print("step1:softmax result=")
    print(softmax)
    print("step2:cross_entropy result=")
    print(c_e)
    print("Function(softmax_cross_entropy_with_logits) result=")
    print(c_e2)
    print("before reduce sum 1")
    print(c_e3)
    print("before reduce sum 2")
    print(c_e4)

这个代码展示两个函数的区别

import tensorflow as tf

labels = [0, 2]

labels_one_hot = [[1, 0, 0], [0, 0, 1]]

logits = [[2, 0.5, 1],
          [0.1, 1, 3]]

result1 = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=labels, logits=logits)

result2 = tf.nn.softmax_cross_entropy_with_logits(labels=labels_one_hot,logits=logits)

with tf.Session() as sess:
    print(sess.run(result1))

    print(sess.run(result2))
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值