Tensorflow四种交叉熵函数计算公式：tf.nn.cross_entropy

使用 tensorflow交叉熵计算函数时，输入数据是没有经过 softmax或sigmoid的网络输出，交叉熵计算函数内部进行sigmoid或softmax操作。

一、tf.nn.sigmoid_cross_entropy_with_logits

    tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None)

解释：

    _sentinel:本质上是不用的参数，不用填

    logits:一个数据类型（type）是float32或float64;

    shape:[batch_size,num_classes],单样本是[num_classes]

    labels:和logits具有相同的type(float)和shape的张量(tensor)，

    name:操作的名字，可填可不填

    output:    loss，shape:[batch_size,num_classes]

Note:

    它对于输入的logits先通过sigmoid函数计算，再计算它们的交叉熵，但是它对交叉熵的计算方式进行了优化，使得结果不至于溢出

    它适用于每个类别相互独立但互不排斥的情况：例如一幅图可以同时包含一条狗和一只大象

output不是一个数，而是一个batch中每个样本的loss,所以一般配合tf.reduce_mea(loss)使用

       

二、 tf.nn.softmax_cross_entropy_with_logits

tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None)

解释： 

_sentinel:本质上是不用的参数，不用填

logits:一个数据类型（type）是float32或float64;

shape:[batch_size,num_classes]

labels:和logits具有相同type和shape的张量(tensor)，,是一个有效的概率，sum(labels)=1, one_hot=True(向量中只有一个值为1.0，其他值为0.0)

name:操作的名字，可填可不填 

output:    loss，shape:[batch_size]

Note:

它对于输入的logits先通过softmax函数计算，再计算它们的交叉熵，但是它对交叉熵的计算方式进行了优化，使得结果不至于溢出

它适用于每个类别相互独立且排斥的情况，一幅图只能属于一类，而不能同时包含一条狗和一只大象

output不是一个数，而是一个batch中每个样本的loss,所以一般配合tf.reduce_mean(loss)使用

计算公式：

三、 tf.nn.sparse_softmax_cross_entropy_with_logits

tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None,labels=None,logits=None, name=None)

解释：

_sentinel:本质上是不用的参数，不用填

logits:一个数据类型（type）是float32或float64;

shape:[batch_size,num_classes]

labels: shape为[batch_size],labels[i]是{0,1,2,……,num_classes-1}的一个索引, type为int32或int64

name:操作的名字，可填可不填

output:    loss，shape:[batch_size]

Note:

它对于输入的logits先通过softmax函数计算，再计算它们的交叉熵，但是它对交叉熵的计算方式进行了优化，使得结果不至于溢出
它适用于每个类别相互独立且排斥的情况，一幅图只能属于一类，而不能同时包含一条狗和一只大象 
output不是一个数，而是一个batch中每个样本的loss,所以一般配合tf.reduce_mean(loss)使用
计算公式：  和tf.nn.softmax_cross_entropy_with_logits()一样，只是要将labels转换成tf.nn.softmax_cross_entropy_with_logits()中labels的形式

四、 tf.nn.weighted_cross_entropy_with_logits

tf.nn.weighted_cross_entropy_with_logits(labels,logits, pos_weight, name=None) 

解释：计算具有权重的sigmoid交叉熵sigmoid_cross_entropy_with_logits（）

    

_sentinel:本质上是不用的参数，不用填

logits:一个数据类型（type）是float32或float64;

shape:[batch_size,num_classes],单样本是[num_classes]

labels:和logits具有相同的type(float)和shape的张量(tensor)，

pos_weight:正样本的一个系数

name:操作的名字，可填可不填

output:    loss，shape:[batch_size,num_classes]

计算公式：