keras.losses中 reduction=‘none‘的用法

以循环神经网络为例，pred的形状是 (batch_size, num_steps, vocab_size)，label的形状是 (batch_size, num_steps）。计算预测值与真实值的损失：tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True, reduction='none')(label, pred)

reduction key的可选值

1. ‘none’：每个step位置的损失都单独保留。返回值的形状为：(batch_size, num_steps)
2. ‘sum’：返回值 = 上述 batch_size*num_steps 个step位置的损失的和
3. ‘sum_over_batch_size’：返回值 = 上述 batch_size$\times$num_steps 个step位置的损失的平均值，即 ‘sum’ 返回值 除以 batch_size$\times$num_steps
4. ‘auto’：一般相当于 ‘sum_over_batch_size’

reduction=‘none’ 的用法

一般是想自定义损失函数以消去padding的影响时使用，因为需要将被padding位置的loss全置为零，因此需要保存每一个step位置的loss，这时就要取 reduction=‘none’