lyb深度学习学习笔记第二章：概率统计和信息论

二. 概率统计和信息论

相关概念：

随机变量

1. 离散型随机变量

   概率质量函数PMF，边缘概率密度MPD

2. 连续性随机变量

   概率密度函数PDF，边缘概率密度MPD，概率分布函数CDF

条件概率，连式法则

相互独立，条件独立

期望、方差、协方差、相关系数

全概公式、贝叶斯公式

零测集、几乎处处、

3. 常用概率分布

   Bernoulli分布、Mutinoulli分布

   正态分布:$\mathcal{N}\left(x;\mu ,{\sigma }^2\right)=\sqrt{\frac{1}{2\pi {\sigma }^2}}\exp \left(-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right)$、精度参数$\mathcal{N}\left(x;\mu ,{\beta }^{-1}\right)=\sqrt{\frac{\beta }{2\pi }}\exp \left(-\frac{1}{2}\beta (x-\mu {)}^2\right)$

   中心极限定理、多维正态分布

   指数分布: $p(x;\lambda )=\lambda 1_{x⩾0}\exp (-\lambda x)$、Laplace分布:$\text{ Laplace }(x;\mu ,\gamma )=\frac{1}{2\gamma }\exp \left(-\frac{|x-\mu |}{\gamma }\right)$

   Dirac分布:$p(x)=\delta (x-\mu )$ 该函数除0点外所有值为0但积分为1

4. 混合分布

   高斯混合分布$\mathrm{P}(\mathrm{x},\mathrm{c})=\mathrm{P}(\mathrm{x}|\mathrm{c})\mathrm{P}(\mathrm{c})$, $\mathrm{P}(\mathrm{x} | \mathrm{c}) $为高斯分布，任何平滑的概率密度都可以用足够多组件的高斯混合模型以任意精度逼近

5. 常用函数

   5.1 logistic sigmoid

   ​ 生成Bernoulli分布中的$\varphi$, $\sigma (x)=\frac{1}{1+\exp (-x)}$，x绝对值大的时候会出现梯度消失

   5.2 softplus

   ​ 生成正态分布的$\beta ,\sigma$, $\zeta (x)=\log (1+\exp (x))$

   5.3 相关性质

   ​ $\begin{array}{rl}& 1-\sigma (x)=\sigma (-x)\\ & \log \sigma (x)=-\zeta (-x)\\ & \frac{d}{dx}\zeta (x)=\sigma (x)\\ & \zeta (x)-\zeta (-x)=x\end{array}$

6. 概率转化

   $p_x(\mathbf{x})=p_y(g(\mathbf{x}))\left|\det \left(\frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}\right)\right|$

   为Jacobina矩阵的行列式的绝对值

7. 信息论

   1. 自信息

      $I(x)=-\log P(x)$ 1单位nats是指观测到一个发生概率为1/e的事件发生时获得的信息量

   2. 香农熵entropy

      $H(\mathrm{x})={\mathbb{E}}_{\mathrm{x}\sim P}[I(x)]=-{\mathbb{E}}_{\mathrm{x}\sim P}[\log P(x)]$

      KL离散度衡量一个变量的两种独立分布的差异：$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)={\mathbb{E}}_{\mathbf{x}\sim P}\left[\log \frac{P(x)}{Q(x)}\right]={\mathbb{E}}_{x\sim P}[\log P(x)-\log Q(x)]$

   3. 交叉熵cross entropy

      $H(P,Q)=-{\mathbb{E}}_{x\sim P}\log Q(x)=H(P)+D_{\mathrm{K}\mathrm{L}}(P\Vert Q)$

      针对Q最小化交叉熵等价于最小化KL散度

8. 结构化概率模型

   有向图描述变量关系：$p(\mathbf{x})={\prod }_{i}p\left({\mathbf{x}}_i|P{a}_{\mathcal{G}}\left({\mathbf{x}}_i\right)\right)$
   
   无向图描述变量关系：$p(\mathbf{x})=\frac{1}{Z}{\prod }_i{\varphi }^{(i)}\left({\mathcal{C}}^{(i)}\right)$