1.tf.nn.softmax( logits, axis=None,name=None,dim=None )
作用:用于做softmax激活,相当于执行:softmax = tf.exp(logits) / tf.reduce_sum(tf.exp(logits), axis)
参数:
- logits:一个非空的Tensor,是softmax之前的类别预测。必须是下列类型之一:half, float32,float64。
- axis:将在其上执行维度softmax。默认值为-1,表示最后一个维度。
- name:操作的名称(可选)。
- dim:axis的已弃用的别名。
返回:
一个Tensor,与logits具有相同的类型和shape。
注意:这里得到的还只是分类的激活值,后面需要手动地与labels计算损失值。
2.tf.nn.sparse_softmax_cross_entropy_with_logits()
作用:用于做softmax激活,并与labels计算交叉损失输出,即输出的是损失值。因此涉及的流程包括两步:
1)计算softmax激活:
2)与样本标签做交叉熵:
参数:
- labels:样本标签,与logits维度相同,为[batch,class_num],这里每一个sample的标签可以不是one-hot的,如1,2,...,class_num
- logits:是softmax之前的类别预测。
- dim:类维度。默认为-1,这是最后一个维度。
- name:操作的名称(可选)。
返回:
做完交叉熵之后的损失向量,要计算总体损失的话,要再接一个tf.reduce_sum或者tf.reduce_mean
3.tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)
作用:用于做softmax激活,并与labels计算交叉损失输出,即输出的是损失值。因此涉及的流程包括两步:
1)计算softmax激活:
2)与样本标签做交叉熵:
参数:
- labels:样本标签,与logits维度相同,为[batch,class_num],这里每一个sample的标签必须是one-hot的
- logits:是softmax之前的类别预测。
- dim:类维度。默认为-1,这是最后一个维度。
- name:操作的名称(可选)。
返回:
做完交叉熵之后的损失向量,要计算总体损失的话,要再接一个tf.reduce_sum或者tf.reduce_mean