tensorflow2.0中损失函数的选择及使用

使用场合

binary_crossentropy（对数损失函数）

即 log loss，与 sigmoid 相对应的损失函数，针对于二分类问题。

categorical_crossentropy（多分类的对数损失函数）

与 softmax 相对应的损失函数，针对于独热化标签的多分类问题。

sparse_categorical_crossentrop（稀疏性多分类的对数损失函数）

在上面的多分类的对数损失函数的基础上，增加了稀疏性（即数据中多包含一定0数据的数据集），针对于非独热化标签的多分类问题。

MSE（均方误差）

主要用于预测、线性回归。

Hinge Loss

主要用于最大化间隔距离、SVM支持向量机。

使用方法

方法一

用对数损失函数举例如下：

bce = tf.keras.losses.BinaryCrossentropy(from_logits=False)
loss = bce([0., 0., 1., 1.], [1., 1., 1., 0.])
print('Loss: ', np.array(loss))  # Loss: 11.522857

在上面的代码中，bce 是对数损失函数的实例化，当模型最后一层没有经过激活函数时 from_logits 设置为 True，否则为 False。
因为 logits 表示网络的直接输出 。如果网络输出的结果经过了 sigmoid 或者 softmax 的概率化，那么 from_logits=False 就表示把已经概率化了的输出，重新映射回原值。如果网络输出的结果没经过概率化，则 from_logits=True，表示不进行任何操作。

方法二

tf.keras.losses.binary_crossentropy(y_true=[0., 0., 1., 1.],
                                    y_pred=[1., 1., 1., 0.],
                                    from_logits=False)