损失函数总结（六）：KLDivLoss、BCEWithLogitsLoss

1 引言

在前面的文章中已经介绍了介绍了一系列损失函数 (L1Loss、MSELoss、BCELoss、CrossEntropyLoss、NLLLoss、CTCLoss、PoissonNLLLoss、GaussianNLLLoss)。在这篇文章中，会接着上文提到的众多损失函数继续进行介绍，给大家带来更多不常见的损失函数的介绍。这里放一张损失函数的机理图：

2 损失函数

2.1 KLDivLoss

Kullback-Leibler散度（KL Divergence），通常称为KLDivLoss，是机器学习和深度学习中的一种损失函数，特别用于概率模型的上下文中，比如变分自动编码器（VAE）。它用来度量两个概率分布之间的差异。KLDivLoss的数学表达式如下：
K