Keras中的几种交叉熵损失函数

一、softmax与categorical_crossentropy的关系，以及sigmoid与bianry_crossentropy的关系是什么？

sigmoid和softmax是神经网络输出层使用的激活函数，分别用于两类判别和多类判别。binary_crossentropy损失函数和sigmoid激活函数相匹配，适应两类别分类的问题。categorical_crossentropy损失函数和softmax激活函数相匹配，适应多类别分类的问题。

二、categorical_crossentropy和sparse_categorical_crossentropy区别是什么？

两者都是多分类交叉熵损失函数，区别在于sparse（稀疏），在于对target编码的要求。

1.categorical_crossentropy要求target为onehot编码。

2.sparse_categorical_crossentropy要求target为非onehot编码，函数内部进行onehot编码实现。

例如：如果你的 targets 是 one-hot 编码，用 categorical_crossentropy。

one-hot 编码：

[0, 0, 1],

[1, 0, 0],

[0, 1, 0]

如果你的tagets是数字编码 ，用sparse_categorical_crossentropy。

数字编码：0, 1, 2

三、开发中遇到的错误

（一）Error: Received a label value of 1 which is outside the valid range of [0, 1)-Python,Keras

用Keras做文本二分类，总是遇到如题错误，我的类别是0或1，但是错误跟我说不能是1。

该问题是loss function的问题。原来用的是sparse_categorical_crossentropy，改为binary_crossentropy问题解决。