交叉熵（Cross Entropy）

交叉熵应用到机器学习问题的简要介绍

　　　交叉熵可以用于定义机器学习问题和最优化问题的损失函数。我们可以假定，真实标签中正类别的概率为$p_i$，而当前训练出的模型的预测值是正类别的概率是$q_i$，这样我们可以通过交叉熵计算$p_i$和$q_i$的相似度，然后对模型进行进一步的优化。
　　　使用一个更加具体的例子，我们使用逻辑回归（logistic regression）作为处理二分类问题的模型，定义两个类别分别为 $0$ 和 $1$ 。这样的话，我们可以将结果的概率模型定义为 $g(z) = 1 / (1 + e^{-z})$ 。当我们要计算 $y=1$ 的概率的时候，我们通过以下公式进行计算：

$$q_{y=1} = \hat y \equiv g(w \cdot x) = 1 / (1 + e^{-w \cdot x})$$ 这里，权重向量 $w$是通过梯度下降等优化算法计算出来的。相同的， $y = 0$ 的互补概率可以简单地表示为： $$q_{y=0}=1-\hat y$$ 上述的两个公式表示的是当前模型预测值的概率分布。
　　　对于数据的真实概率分布，我们可以表达为： $p_{y=1}=y$ 和 $p_{y=0}=1-y$。
　　　综合上述的概率表达，我们可以将真实概率表达为 $p \in \{y, 1-y\}$，并且将预测概率表达为 $q \in \{\hat y, 1-\hat y\}$ 。这样的话，我们可以通过交叉熵来测量 $p$ 和 $q$ 之间的相似度： $$H(p, q) = - \sum_i p_i \log q_i = -y \log \hat y - (1 - y) \log (1-\hat y)$$ 这个公式其实就是在逻辑回归中计算某个数据样本的损失的表达式，要想计算整个模型的损失，我们只需要计算所有数据样本的损失的平均值即可： $$L(w) = \frac {1}{N} \sum_{n=1}^{N} H(p_n, q_n) = - \frac{1}{N} \sum_{n=1}^{N}[y_n \log \hat y_n + (1-y_n) \log (1- \hat y_n)]$$ 这里 $\hat y_n \equiv g(w \cdot x_n) = \frac{1}{1+e^{-w \cdot x_n}}$， $g(z)$就是逻辑函数。

参考资料

交叉熵-维基百科 https://en.wikipedia.org/wiki/Cross_entropy