3.Random Variable__随机变量（2）常见连续随机变量及其分布

2.2 常见连续随机变量及其分布

2.2.1 连续均匀分布

$$f(x)=\{\begin{array}{ll}1/(b-1),& x\in [a,b]\\ 0,& \text{otherwise}\end{array}\iff X\sim Uniform(a,b)\iff X\sim U(a,b)wherea<b$$

2.2.2 伽马分布

$$f(x)=\frac{1}{{\beta }^{\alpha }}\Gamma (\alpha )x^{\alpha -1}exp\left(-\frac{x}{\beta }\right),where\alpha ,\beta >0\iff X\sim Gamma(\alpha ,\beta )\iff X\sim Ga(\alpha ,\beta )$$
其中伽马函数为$\Gamma (\alpha )={\int }_0^{+\infty }{x}^{\alpha -1}exp(-x)dx$；伽马函数的性质有：$\Gamma (\alpha +1)=\alpha \Gamma (\alpha )$、$\Gamma (1)=\Gamma (0)=0$、$\Gamma (1/2)=\sqrt{\pi }$、$\Gamma (\alpha +1)=\alpha !$等。

另一种写法：
$$f(x)=\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}exp(-\beta x),where\alpha ,\beta >0\iff X\sim Gamma(\alpha ,\beta )\iff X\sim Ga(\alpha ,\beta )$$
其中$\alpha$主要影响分布的峰起状态，称作形状参数；$\beta$主要影响分布的散度状态，称作尺度参数；如果$X_i\sim Ga({\alpha }_i,{\beta }_i)$且相互独立，则${\sum }_{i=1}^n{X}_i\sim Ga({\Sigma }_{i=1}^n{\alpha }_i,\beta )$

2.2.3 指数分布

$$f(x)=\{\begin{array}{ll}\frac{1}{\beta }exp\left(-\frac{x}{\beta }\right),& x>0\\ 0,& \text{otherwise}\end{array}\iff X\sim Exp(\beta )\iff E(\beta )$$
常用语描述“电子元器件寿命”与“两次罕见事件的间隔时间”

2.2.4 卡方分布

令伽马分布中$\alpha =p/2,\beta =2$其中$p$为正整数，会获得卡方分布
$$f(x)=\frac{1}{\Gamma \left(\frac{p}{2}\right)2^{\frac{p}{2}}}{x}^{\frac{p}{2}-1}\exp \left(-\frac{x}{2}\right),0<x<\infty \iff X\sim {\chi }^2(p)$$

2.2.5 正态（高斯）分布

$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp\left[-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}\right]\iff X\sim \mathcal{N}\left(\mu ,{\sigma }^2\right)$$
如果$\mu =0$且${\sigma }^2=1$，则$f(x)=\frac{1}{\sqrt{2\pi }}exp\left(-\frac{x^2}{2}\right)\Rightarrow \mathcal{N}(0,1)$

2.2.6 指数幂分布

$$f(x)=\frac{1}{2^{\frac{q+1}{q}}\Gamma \left(\frac{q+1}{q}\right)\sigma }exp\left[-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}\right]$$
令$q=2$可得高斯分布

2.2.7 拉普拉斯分布

在指数幂分布中令$q=1$可得拉普拉斯分布：
$$f(x)=\frac{1}{4\sigma }exp\left[\frac{|x-\mu |}{2\sigma }\right]$$

2.2.8 广义逆高斯分布

$$f(x)=\frac{{\left(\frac{\alpha }{\beta }\right)}^{\frac{p}{2}}}{2K_p\left(\sqrt{\alpha \beta }\right)}{x}^{p-1}exp\left[-\frac{1}{2}\left(\alpha x+\frac{\beta }{x}\right)\right],x\ge 0$$
其中$K_p$表示二阶修正的贝塞尔函数

2.2.9 逆伽马分布

$$f(x)=\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{x}^{-(\alpha +1)}(1-x{)}^{\beta -1},x\ge 0\iff X\sim IG(\alpha ,\beta )$$

2.2.10 贝塔分布

$$f(x)=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1},0<x<1$$
其中，贝塔函数为$Be(\alpha ,\beta )={\int }_0^1{x}^{\alpha -1}(1-x{)}^{\beta -1}dx$

2.2.11 T分布

$$f(x)=\frac{\Gamma \left(\frac{\alpha +1}{2}\right)}{\Gamma \left(\frac{\alpha }{2}\right)}{\left(1+\frac{x^2}{\alpha }\right)}^{\frac{\alpha +1}{2}}\iff X\sim t_{\alpha }$$

2.2.12 初识共轭先验分布

例1

设$X\sim Bernoulli(\theta ),0<\theta <1,\theta \sim Beta(\alpha ,\beta )$，则
$$\begin{array}{rl}& p(\theta |x)\sim p(x|\theta )p(\theta |\alpha ,\beta )\\ =& {\theta }^x(1-\theta {)}^{1-x}\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}\\ =& \frac{|Gamma(\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{\theta }^{\alpha +x-1}(1-\theta {)}^{\beta -x}\\ & \sim Beta(\alpha +x,beta-x+1)\end{array}$$
显然，后延分布$p(\theta |x)$与先验分布$p(x|theta)$都是贝塔分布，是共轭的。

例2

设$X\sim \mathcal{N}(0,{\sigma }^2)$，令$\lambda ={\sigma }^2$，则$f_X(x)=\frac{1}{\sqrt{2\pi }}{\lambda }^{-1/2}exp\left(\frac{x^2}{2\lambda }\right)$；另设$\lambda \sim Ga\left(\lambda |\gamma ,\frac{\alpha }{2}\right)$。
显然，$\lambda \sim {\lambda }^{\gamma -1}expexp\left(-\frac{\alpha \lambda }{2}\right)$，则$p(\lambda |x)\propto p(x|\lambda )p(\lambda |\gamma ,\alpha )\propto {\lambda }^{\gamma -\frac{3}{2}}exp\left[-\frac{1}{2}\left(\frac{x^2}{\lambda }+\alpha \lambda \right)\right]$属于广义逆高斯分布，未与先验分布（伽马分布）形成共轭，于是考虑更换先验分布条件为$\lambda \sim IG\left(\tau ,\frac{\beta }{2}\right)$，则有$$p(\lambda |x)\propto p(x|\lambda )p\left(\lambda |\tau ,\frac{\beta }{2}\right)\propto {\lambda }^{-\left(\tau +\frac{2}{2}\right)}exp\left(-\frac{x^2+\beta }{2\lambda }\right)\sim IG\left(\tau +\frac{1}{2},x^2+\beta \right)$$与先验分布形成共轭。