tf.losses.softmax_cross_entropy()及相邻函数中weights参数的设置

最近在修改deeplab v3+的代码训练自己的数据进行分割任务, 因为我的数据中label为0的像素点特别多, 数据不平衡, 所以考虑对label为0的sample设置权重为0.1, 其他class权重为1.
查看tensorflow文档(需要科学上网), 该函数的参数为:

tf.losses.softmax_cross_entropy(
    onehot_labels,
    logits,
    weights=1.0,
    label_smoothing=0,
    scope=None,
    loss_collection=tf.GraphKeys.LOSSES,
    reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)

其中

  1. onehot_labels是one_hot编码的label, shape为[batch_size, num_classes]
  2. logits是神经网络的输出, 注意要求是softmax处理之前的logits, 因为tf.losses.softmax_cross_entropy()方法内部会对logits做softmax处理, shape为[batch_size, num_classes]
  3. weights
    可以是一个标量或矩阵. 如果是标量, 就是对算出来的cross_entropy做缩放; 如果是矩阵, 要求shape为[batch_size, ].
    可以发现, weights实际上是给batch中每个sample设置一个权重, 而不是给label的不同class设置权重. 因此, 输入的weights需要先做处理:
	weights = [0.1] + 49 * [1.0]    #label为0的class权重设为0.1, 其余49个class设为1, 输出一个list
	weights = tf.convert_to_tensor(weights)     #将list转成tensor, shape为[50, ]
	weights = tf.reduce_sum(tf.multiply(onehot_labels, weights), -1)    #根据labels,将weights转成对每个sample的权重

注意, onehot_labels的shape为[batch_size, 50], weights的shape为[50, ], tf.multiply()进行element对应相乘, 自动将weights进行broadcast, tf.multiply()的结果shape为[batch_size, 50], 再进行tf.reduce_sum(), 最终weights的shape是[batch_size, ] \newline

tf.losses下其他cross_entropy函数中weights的设置同理

  • 10
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值