1.交叉熵(Cross Entropy)
表示两个概率分布之间的距离。交叉熵越大,两个概率分布距离越远,两个概率分布越相异。交叉熵越小,两个概率分布越近,两个概率分布越相似。
计算公式:
用tensorflow函数表示为:
ce = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-12,1.0)))
tf.clip_by_value(y,1e-12,1.0))表示将y值限制在1e-12和1之间。
2.softmax函数
将n分类的n个输出(y1,y2,...yn)变为满足以下概率分布要求的函数:
且