cross entropy，logistic loss 和 KL-divergence的关系和区别

先给出结论：

• cross entropy和KL-divergence作为目标函数效果是一样的，从数学上来说相差一个常数。
• logistic loss 是cross entropy的一个特例

---

1. cross entropy和KL-divergence

假设两个概率分布$p(x)$和$q(x)$， $H(p,q)$为cross entropy，$D_{KL}(p|q)$为 KL divergence。

交叉熵的定义：

$$H(p,q)=-\sum_xp(x) \log {q(x)}$$

KL divergence的定义：

$$D_{KL}(p|q)=\sum _xp(x)\log \frac{ p(x)} {q(x)}$$

推导：

$$\begin{align} D_{KL}(p|q) & = \sum _xp(x)\log \frac{ p(x)} {q(x)} \\ & = \sum_x(p(x)\log p(x)-p(x)\log q(x))\\ & =-H(p)-\sum_xp(x) \log q(x)\\ & = -H(p)+H(p,q) \\ \end{align}$$

也就是说，cross entropy也可以定义为：

$$H(p,q)=D_{KL}(p|q)+H(p)$$

直观来说，由于p(x)是已知的分布，H(p)是个常数，cross entropy和KL divergence之间相差一个常数。

---

2. logistic loss 和cross entropy

假设$p \in \{y,1-y\}$ ，$q \in \{ \hat y,1-\hat y \}$， cross entropy可以写为logistic loss：

$$H(p,q)=-\sum_xp(x) \log {q(x)}=-y\log\hat y-(1-y)\log(1-\hat y)$$