一些常用常新的数学公式（备查）

概率论

• 多元正态分布
  $$\mathbf{X}\sim \mathrm{N}(\mathbf{\mu },\mathbf{\Sigma })$$
  pdf:
  $$f_{\mathbf{X}}(x_1,x_2,...,x_k)=\frac{1}{\sqrt{(2\pi {)}^k|\mathbf{\Sigma }|}}{e}^{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })}$$

信息论

• Entropy

  $$H(X)=-\sum _{x\in \mathcal{X}}p(x)\log p(x)$$

• Cross-entropy
  $$H(P,Q)=-\sum _{x\in \mathcal{X}}P(x)\log Q(x)$$

• K-L divergence
  $$\begin{gathered} KL(P||Q)=\sum _{x\in \mathcal{X}}P(x)\log \frac{P(x)}{Q(x)} \\ \ne \\ KL(Q||P)=\sum _{x\in \mathcal{X}}Q(x)\log \frac{Q(x)}{P(x)} \end{gathered}$$

• JSD
  $$JSD(P||Q)=\frac{1}{2}\left[KL\right(P||\frac{P+Q}{2})+KL(Q||\frac{P+Q}{2}\left)\right]$$

• Wasserstein-distance

  Wasserstein距离又叫Earth-Mover（EM， 推土机 ）距离
  $$W(P_r,P_g)=\underset{\gamma \sim \prod (P_r,P_g)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }[||x-y||]$$
  其中$\prod (P_r,P_g)$是联合分布，x为真实样本，y为生成样本。

  从所有可能的联合分布中取样本距离期望值的下界。

  Wasserstein距离相比KL散度、JS散度的优越性在于，即便两个分布没有重叠，Wasserstein距离仍然能够反映它们的远近。

  KL散度和JS散度是突变的，要么最大要么最小，Wasserstein距离却是平滑的，如果我们要用梯度下降法优化$\theta$这个参数，前两者根本提供不了梯度，Wasserstein距离却可以。类似地，在高维空间中如果两个分布不重叠或者重叠部分可忽略，则KL和JS既反映不了远近，也提供不了梯度，但是Wasserstein却可以提供有意义的梯度。