【联系】二项分布的对数似然函数与交叉熵（cross entropy）损失函数

1. 二项分布

二项分布也叫 0-1 分布，如随机变量 $x$ 服从二项分布，关于参数 $\mu$（$0\leq \mu\leq 1$），其值取 1 和取 0 的概率如下：

$$\left\{ \begin{split} &p(x=1|\mu)=\mu\\ &p(x=0|\mu)=1-\mu \end{split} \right.$$

则在 $x$ 上的概率分布为：

$$\text{Bern}(x|\mu)=\mu^x(1-\mu)^{1-x}$$

2. 服从二项分布的样本集的对数似然函数

给定样本集 $\mathcal D=\left\{x_1, x_2, \ldots, x_B\right\}$ 是对随机变量 $x$ 的观测值，假定样本集从二项分布 $p(x|\mu)$ 中独立（$p(x_1, x_2, \ldots, x_N)=\prod_{i}p(x_i)$）采样得来，则当前样本集关于 $\mu$ 的似然函数为：

$$p(\mathcal D|\mu)=\prod_{n=1}^Np(x_n|\mu)=\prod_{n=1}^N\mu^{x_n}\left(1-\mu\right)^{1-x_n}$$

从频率学派的观点来说，通过最大似然函数的取值，可以估计参数 $\mu$，最大化似然函数，等价于最大化其对数形式：

则有：

$$\begin{split} \ln p(\mathcal D| \mu)=&\ln \mu\sum_{n=1}^Nx_n+\ln(1-\mu)\sum_{n=1}^N1-x_n\\ =&\ln \mu\sum_{n=1}^Nx_n+\ln(1-\mu)\left(N-\sum_{n=1}^Nx_n\right)\\ =&\sum_{n=1}^Nx_n\ln \mu+(1-x_n)\ln(1-\mu) \end{split}$$

求其关于 $\mu$ 的导数，解得 $\mu$ 的最大似然解为：

$$\mu_{ML}=\frac1N\sum_{n=1}^Nx_n$$

这里我们仅关注：

$$\ln P(\mathcal D|\mu)=\sum_{n=1}^Nx_n\ln \mu+(1-x_n)\ln(1-\mu)$$

3. 交叉熵损失函数

$$L_H(\mathbf x,\mathbf z)=-\sum_{n=1}^Nx_n\log z_n+(1-x_n)\log(1-z_n)$$

$\mathbf x$ 表示原始信号，$\mathbf z$ 表示重构信号。（损失函数的目标是最小化，似然函数则是最大化，二者仅相差一个符号）。