机器学习 - 交叉熵Cross Entropy

机器学习 - 交叉熵Cross Entropy

1. 二值交叉熵 Binary Cross Entropy

假设训练数据 $D = \{(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)\}$ ,

其中

$x \in R^n$ - 训练样本, 如图片；

$y \in \{0, 1\}$ - 标签labels, 只有 0 和 1, 二值分类问题.

假设已经有训练模型 $f(x, \theta)$, 在给定 $x$ 时, 输出 $y$ 的概率. $f(x, \theta)$ 是深度 CNN 模型或传统机器学习模型, $\theta$ 是模型参数.

基于 最大似然(Maximum Likelihood) 思想, 其目的是为了寻找能够最大化 $P(D | \theta)$ 的参数 $\theta$ .

假设数据服从伯努利分布(Bernoulli distribution), 且 $\{(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)\}$ 相互独立, 则有:

$P(D | \theta) = \prod _{i=1}^{n} f(x_i, \theta)^{y_i} \cdot (1 - f(x_i, \theta))^{(1 - y_i)}$ (1)

取 log,

logP(D|θ)=log(∏ni=1f(xi,θ)yi⋅(1−f(x