卷积神经网络之sigmoid、softmax、logits、cross entropy的计算方式

Sigmoid

sigmoid常用于二分类问题。
sigmoid函数表达式如下：

函数形状：

Softmax

softmax函数常用于多分类。

函数定义：

Logits

logits可以理解为输出层的内容，一般是全链接层，后面会作为softmax的输入。

cross entropy

交叉熵，主要用于度量两个概率分布间的差异性信息。

q(x)就对应这sigmoid或着softmax的输出，这样就对应着sigmoid_cross_entropy_with_logits和softmax_cross_entropy_with_logits的损失函数。