tf.nn.softman_cross_entropy_with_logits及几种交叉熵计算

https://www.jianshu.com/p/95d0dd92a88a 

就看例子就完事了  

tf.nn.softmax

import tensorflow as tf
import numpy as np

sess=tf.Session()
#logits代表wx+b的输出,并没有进行softmax(因为softmax后是一个和为1的概率)
logits = np.array([[1, 2, 7],
                   [3, 5, 2],
                   [6, 1, 3],
                   [8, 2, 0],
                   [3, 6, 1]], dtype=np.float32)
#labels是[2,1,0,0,1]的ont-hot编码形式
labels = np.array([[0, 0, 1],
                   [0, 1, 0],
                   [1, 0, 0],
                   [1, 0, 0],
                   [0, 1, 0]], dtype=np.float32)

# 公式计算,-np.log(y*softmax_out) 
# y=n*c,softmax_out是n*c,相当于将每个样本softmax的c个特征中最大的取出来,再取负就是求最小
softmax_out=tf.nn.softmax(logits)
cross_entropy1 = -tf.reduce_sum(labels * tf.log(softmax_out), axis=1)   #对应元素相乘,非矩阵乘法
print sess.run(cross_entropy1)

#使用一维label计算,对每个样本取第k个元素出来,k代表实际类别
out_v = sess.run(out)
class_v = sess.run(classes)
cross_entropy1_label = -tf.log(out_v[range(len(logits)),class_v])

print sess.run(cross_entropy1_label)

#---输出
array([ 0.00917445,  0.16984604,  0.05498521,  0.00281022,  0.05498521], dtype=float32)

tf.nn.softmax_cross_entropy_with_logits与tf.nn.sparse_softmax_cross_entropy_with_logits


import tensorflow as tf

sess=tf.Session()
#logits代表wx+b的输出,并没有进行softmax(因为softmax后是一个和为1的概率)
logits = np.array([[1, 2, 7],
                   [3, 5, 2],
                   [6, 1, 3],
                   [8, 2, 0],
                   [3, 6, 1]], dtype=np.float32)
#labels是[2,1,0,0,1]的ont-hot编码形式
labels = np.array([[0, 0, 1],
                   [0, 1, 0],
                   [1, 0, 0],
                   [1, 0, 0],
                   [0, 1, 0]], dtype=np.float32)
                   
cross_entropy2 = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=labels)
sess.run(cross_entropy2)

classes = tf.argmax(labels, axis=1)    #array([2, 1, 0, 0, 1])
cross_entropy3 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=classes)
sess.run(cross_entropy2)

#---cross_entropy2 输出
array([ 0.00917445,  0.16984604,  0.05498521,  0.00281022,  0.05498521], dtype=float32)

A 1-D `Tensor` of length `batch_size` of the same type as `logits` with the
      softmax cross entropy loss.

#---cross_entropy3 输出
array([ 0.00917445,  0.16984604,  0.05498521,  0.00281022,  0.05498521], dtype=float32)

1.tf.nn.softmax_cross_entropy_with_logits与tf.nn.sparse_softmax_cross_entropy_with_logits

输出结果相同,,后者的输入label shape=[batch_size],dtype=int32/int64,range=[0, number_classes-1];前者的label shape=[batch_size, number_classes], dtype=[float32/64]

2.tf.losses.softmax_cross_entropy和tf.losses.sparse_softmax_cross_entropy

都是用于计算不同样本的loss,

tf.losses.softmax_cross_entropy默认weight=1,等价于tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits)

weight为标量数字时,等价于w * tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits)

weights为向量时,计算出的每个Loss需乘上对应的样本权重再平均。

3.tf.losses.sparse_softmax_cross_entropy

等价于tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits).

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值