paddle硬标签交叉熵算法和软标签交叉熵算法

paddle硬标签交叉熵算法和软标签交叉熵算法

前言

最近在使用paddle深度学习框架进行项目实战，拿来练手的项目是手写数字集识别，所用到的损失值计算方式是交叉熵计算。但是，通过查阅paddle官网的交叉熵实现方法的api文档，发现有两种交叉熵算法，一种是硬标签交叉熵算法，另一种是软标签交叉熵算法。由于我在网上搜索相关问题，没有对应的解答，所以，我在这里将和大家讨论一下这两个交叉熵算法。

官方解释

官方api解释

• paddle.fluid.layers.``cross_entropy(input, label, soft_label=False, ignore_index=-100)[源代码]¶

该OP计算输入input和标签label间的交叉熵，可用于计算硬标签或软标签的交叉熵。

1. 硬标签交叉熵算法：若soft_label = False, label[i1,i2,…,ik]label[i1,i2,…,ik] 表示每个样本的硬标签值:
   o u t p u t [ i 1 , i 2 , . . . , i k ] = − l o g ( i n p u t [ i 1 , i 2 , . . . , i k , j ] ) , l a b e l [ i 1 , i 2 , . . . , i k ] = j , j ! = i g n o r e i n d e x output[i1,i2,...,ik]=−log(input[i1,i2,...,ik,j]),label[i1,i2,...,ik]=j,j!=ignore_index