TensorFlow四种Cross Entropy算法实现和应用（理论）

Tensorflow交叉熵函数：cross_entropy

以下交叉熵计算函数输入中的logits都不是softmax或sigmoid的输出，因为它在函数内部进行了sigmoid或softmax操作

（一）tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None)

_sentinel:本质上是不用的参数，不用填

labels:一个和logits具有相同的数据类型（type）和尺寸形状（shape）的张量（tensor）

shape:[batch_size,num_classes],单样本是[num_classes]

logits:一个数据类型（type）是float32或float64的张量

name:操作的名字，可填可不填

它对于输入的logits先通过sigmoid函数计算，再计算它们的交叉熵，但是它对交叉熵的计算方式进行了优化，使得结果不至于溢出

它适用于每个类别相互独立但互不排斥的情况：例如一幅图可以同时包含一条狗和一只大象

（二）tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None)

_sentinel:本质上是不用的参数，不用填

labels:每一行labels[i]必须是一个有效的概率分布，one_hot=True(向量中只有一个值为1，其他值为0)

logits：labels和logits具有相同的数据类型（type）和尺寸（shape）

shape:[batch_size,num_classes],单样本是[num_classes]

name:操作的名字，可填可不填

它对于输入的logits先通过softmax函数计算

它适用于每个类别相互独立且排斥的情况，一幅图只能属于一类，而不能同时包含一条狗和一只大象

（三）tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None)

_sentinel:本质上是不用的参数，不用填

labels:shape为[batch_size],labels[i]是[0,num_classes)的一个索引, type为int32或int64，labels是一维的

logits：shape为[batch_size,num_classes],type为float32或float64

name:操作的名字，可填可不填

它适用于每个类别相互独立且排斥的情况，一幅图只能属于一类，而不能同时包含一条狗和一只大象

（四）tf.nn.weighted_cross_entropy_with_logits(labels, logits, pos_weight, name=None)

计算具有权重的sigmoid交叉熵sigmoid_cross_entropy_with_logits（）

_sentinel:本质上是不用的参数，不用填

labels:一个和logits具有相同的数据类型（type）和尺寸形状（shape）的张量（tensor）

shape:[batch_size,num_classes],单样本是[num_classes]

logits:一个数据类型（type）是float32或float64的张量

pos_weight:正样本的一个系数

name:操作的名字，可填可不

计算公式： pos_weight*labels * -log(sigmoid(logits)) + (1 - labels) * -log(1 - sigmoid(logits))