softmax与categorical_crossentropy的关系，以及sigmoid与bianry_crossentropy的关系

1. softmax与categorical_crossentropy的关系以及sigmoid与bianry_crossentropy的关系
sigmoid和softmax是神经网络输出层使用的激活函数，分别用于两类判别和多类判别。一般，binary_crossentropy损失函数和sigmoid激活函数相匹配，适应两类别分类的问题，categorical_crossentropy损失函数和softmax激活函数相匹配，适应多类别分类的问题。

2. categorical_crossentropy 和 sparse_categorical_crossentropy 的区别

• 如果targets 是 one-hot 编码，用 categorical_crossentropy
  one-hot 编码：[0, 0, 1], [1, 0, 0], [0, 1, 0]
• 如果 tagets 是 数字编码 ，用 sparse_categorical_crossentropy
  数字编码：2, 0, 1
  在 tf.keras 中，有两个交叉熵相关的损失函数 tf.keras.losses.categorical_crossentropy 和 tf.keras.losses.sparse_categorical_crossentropy 。其中 sparse 的含义是，真实的标签值 y_true 可以直接传入 int 类型的标签类别。具体而言：

loss = tf.keras.losses.sparse_categorical_crossentropy(y_true=y, y_pred=y_pred)

与

loss = tf.keras.losses.categorical_crossentropy(
    y_true=tf.one_hot(y, depth=tf.shape(y_pred)[-1]),
    y_pred=y_pred
)

的结果相同。
模拟验证

import tensorflow as tf
import keras
tf.enable_eager_execution()
y_true = tf.constant([[0.,1.,0.],[0.,0.,1.]])#one-hot编码
y_true_sparse = tf.constant([1, 2])
y_pred = tf.constant([[0.05, 0.95, 0], [0.1, 0.8, 0.1]])# 假设已经经过了softmax，所以和必须为1
loss_ca = tf.reduce_mean(keras.backend.categorical_crossentropy(y_true,y_pred))
loss_sparse = tf.reduce_mean(keras.backend.sparse_categorical_crossentropy(y_true_sparse, y_pred))
print('loss_ca=',loss_ca.numpy())
print('loss_sparse=',loss_sparse.numpy())

参考博客：
https://blog.csdn.net/weixin_42295205/article/details/107487243

https://blog.csdn.net/chenpe32cp/article/details/105314742

https://blog.csdn.net/vivi_and_qiao/article/details/112941427

https://www.cnblogs.com/kpwong/p/13503205.html