tf.losses 模块
tf.losses 模块实际是对tf.nn.下面的loss函数的高级封装。
tf.losses 模块官方的api:官网API
此模块下主要的Functions
absolute_difference(): 为训练过程添加一个“绝对差异”loss,其实就是做差后取绝对值作为loss。
add_loss(): 为loss集合添加额外定义的loss。
compute_weighted_loss(): 计算加权loss。
cosine_distance(): Adds a cosine-distance loss to the training procedure. (deprecated arguments)
get_losses(): 从loss集合中获取loss列表。
get_regularization_loss(): 获取整体的正则化loss。
get_regularization_losses(): 获得正则化loss列表。
get_total_loss(): 返回其值表示总损失的张量。
hinge_loss(): 为训练过程添加一个hinge loss。
huber_loss(): 为训练过程添加一个Huber Loss。
log_loss(): 为训练过程添加一个Log Loss。
mean_pairwise_squared_error(): 为训练过程添加一个pairwise-errors-squared loss。
mean_squared_error(): 为训练过程添加一个Sum-of-Squares loss,就是常说的均方误差loss。
sigmoid_cross_entropy(): sigmoid cross-entropy loss(用tf.nn.sigmoid_cross_entropy_with_logits 实现)
softmax_cross_entropy(): softmax cross-entropy loss (用tf.nn.softmax_cross_entropy_with_logits 实现)
sparse_softmax_cross_entropy(): 稀疏softmax Cross-entropy loss (用 tf.nn.sparse_softmax_cross_entropy_with_logits 实现)
tf.nn.softmax_cross_entropy_with_logits与tf.nn.sparse_softmax_cross_entropy_with_logits
import tensorflow as tf
sess=tf.Session()
#logits代表wx+b的输出,并没有进行softmax(因为softmax后是一个和为1的概率)
logits = np.array([[1, 2, 7],
[3, 5, 2],
[6, 1, 3],
[8, 2, 0],
[3, 6, 1]], dtype=np.float32)
#labels是[2,1,0,0,1]的ont-hot编码形式
labels = np.array([[0, 0, 1],
[0, 1, 0],
[1, 0, 0],
[1, 0, 0],
[0, 1, 0]], dtype=np.float32)
cross_entropy2 = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=labels)
sess.run(cross_entropy2)
classes = tf.argmax(labels, axis=1) #array([2, 1, 0, 0, 1])
cross_entropy3 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=classes)
sess.run(cross_entropy2)
#---cross_entropy2 输出
array([ 0.00917445, 0.16984604, 0.05498521, 0.00281022, 0.05498521], dtype=float32)
A 1-D `Tensor` of length `batch_size` of the same type as `logits` with the
softmax cross entropy loss.
#---cross_entropy3 输出
array([ 0.00917445, 0.16984604, 0.05498521, 0.00281022, 0.05498521], dtype=float32)
两个函数的输出结果相同,区别在于输入的labels不同
tf.nn.softmax_cross_entropy_with_logits输入labels是one-hot编码格式
tf.nn.sparse_softmax_cross_entropy_with_logits输入labels是非one-hot编码格式
tf.losses.softmax_cross_entropy 和 tf.losses.sparse_softmax_cross_entropy
tf.losses.softmax_cross_entropy
主要用于进行不同样本的loss计算
默认weights=1,等价于tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits)
weights为标量w时,等价于w*tf.reduce_mean(tf.nn.softmax_corss…))
4.weights为向量时,算出的每个loss需要乘以对应样本权重,再求均值
logits = np.array([[1, 2, 7],
[3, 5, 2],
[6, 1, 3],
[8, 2, 0],
[3, 6, 1]], dtype=np.float32)
#labels是[2,1,0,0,1]的ont-hot编码形式
labels = np.array([[0, 0, 1],
[0, 1, 0],
[1, 0, 0],
[1, 0, 0],
[0, 1, 0]], dtype=np.float32)
cross1 = tf.nn.softmax_cross_entropy_with_logits(labels=labels,logits=logits)
cross2 = tf.losses.softmax_cross_entropy(onehot_labels=labels, logits=logits)
cross3 = tf.losses.softmax_cross_entropy(onehot_labels=labels, logits=logits,weights=0.2)
print sess.run(cross1) #[ 0.00917445 0.16984604 0.05498521 0.00281022 0.05498521]
print sess.run(cross2) #0.0583602
print sess.run(tf.reduce_mean(cross1)) #0.0583602
print sess.run(cross3) #0.011672
print sess.run(0.2*tf.reduce_mean(cross1)) #0.011672
tf.losses.sparse_softmax_cross_entropy
tf.losses.sparse_softmax_cross_entropy 同理等价于tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits),只不过输入labels是非one-hot编码格式
本文整理自https://blog.csdn.net/ErenTuring/article/details/80239247
https://www.jianshu.com/p/95d0dd92a88a
交叉熵参考:https://www.zhihu.com/question/41252833/answer/195901726