使用cross-entropy （交叉熵）定义loss的概率意义

证明：在多分类问题中，交叉熵损失（cross-entropy loss）定义loss是符合概率的。
证明：
极大似然的表述如下：
softmax函数给出了一个向量$\hat{\mathbf{y}}$，它是一个概率分布，满足 ${\sum }_1^q{\widehat{y_j}}^{(i)}=1$， 我们可以将其视为“对给定任意输入的每个类的条件概率”。 例如 $P(y=\text{猫}\mid \mathbf{x})$ 。 假设整个数据集 { X , Y } \{\mathbf{X}, \mathbf{Y}\} { X,Y} 具有 $n$ 个样本， 其中索引 $i$ 的样本由特征向量 ${\mathbf{x}}^{(i)}$ 和独热标签向量 ${\mathbf{y}}^{(i)}$ 组成。
上述样本出现的概率：
$$P(\mathbf{Y}\mid \mathbf{X})=\prod _{i=1}^{n}P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)}).$$

根据最大似然估计，我们最大化 $P(\mathbf{Y}\mid \mathbf{X})$，相当于最小化负对数似然：

− log ⁡ P ( Y ∣ X ) = ∑ i =