高斯分布推导

Gaussian Distribution

• 基础概念：

  • 似然性：用于在已知某些观测所得到的结果时，对有关事物之性质的参数进行估值。

  • 最大似然估计：给定一个概率分布$D$，一直其概率密度函数为$f_D$，以及一个分布参数$\theta$，我们可以从这个分布中抽出一个具有$n$个值的采样$X_1,X_2,\cdots ,X_n$，利用$f_D$计算出其似然函数：
    $$\mathrm{L}\left(\theta \mid x_1,\dots ,x_n\right)=f_{\theta }\left(x_1,\dots ,x_n\right)$$
    其中$f_{\theta }$为这些采样值的联合分布，最大似然估计就是找到一个$\hat{\theta }$使得$L$有最大值。

• 证明：

  设误差密度函数（误差的概率）为$f$，设有$n$个独立的测量值$x_1,x_2,\cdots ,x_n$，设真值为$x$；

  这$n$次测量的误差为$x_1-x,x_2-x,\cdots ,x_n-x$，概率为$f(x_1-x),f(x_2-x),\cdots$；

  似然函数为：
  $$L(x)=f(x_1-x)\cdot f(x_2-x)\cdots f(x_n-x)$$
  应用最大似然估计，对似然函数取对数：
  $$L(x)=\sum _{i=1}^n\ln f(x_i-x)$$
  对$L(x)$求偏导：（复合函数求导，链式法则），且为了找到似然函数最大值，导函数需为0，则
  $$\frac{\mathrm{d}L(x)}{\mathrm{d}x}=-\sum _{i=1}^n\frac{f^{\prime }(x_i-x)}{f(x_i-x)}=0$$
  记 $g(x)=f^{\prime }(x)/f(x)$

  则导函数为：
  $$\sum _{i=1}^{n}g(x_i-x)=0$$
  我们认为真值$x$估计为$\bar{x}$（假设这玩意已知），并且令$L(x)$的导函数对$x_1,x_2,\cdots ,x_n$分别求导：（这里$\bar{x}$看作也是关于$n$函数）
  $$\begin{array}{rl}& g^{\prime }\left(x_1-\bar{x}\right)\left(1-\frac{1}{n}\right)+g^{\prime }\left(x_2-\bar{x}\right)\left(-\frac{1}{n}\right)+\cdots +g^{\prime }\left(x_n-\bar{x}\right)\left(-\frac{1}{n}\right)=0\\ & g^{\prime }\left(x_1-\bar{x}\right)\left(-\frac{1}{n}\right)+g^{\prime }\left(x_2-\bar{x}\right)\left(1-\frac{1}{n}\right)+\cdots +g^{\prime }\left(x_n-\bar{x}\right)\left(-\frac{1}{n}\right)=0\\ & g^{\prime }\left(x_1-\bar{x}\right)\left(-\frac{1}{n}\right)+g^{\prime }\left(x_2-\bar{x}\right)\left(-\frac{1}{n}\right)+\cdots +g^{\prime }\left(x_n-\bar{x}\right)\left(1-\frac{1}{n}\right)=0.\end{array}$$
  矩阵：
  $$\left(\begin{array}{cccc}1-\frac{1}{n}& -\frac{1}{n}& \cdots & \frac{1}{n}\\ -\frac{1}{n}& 1-\frac{1}{n}& \cdots & -\frac{1}{n}\\ ⋮& ⋮& & ⋮\\ -\frac{1}{n}& -\frac{1}{n}& \cdots & 1-\frac{1}{n}\end{array}\right)$$
  的秩为1，方程组的解为：
  $$\mathbf{X}=C(1,1,\cdots ,1{)}^T$$
  所以有：
  $$g^{\prime }\left(x_1-\bar{x}\right)=g^{\prime }\left(x_2-\bar{x}\right)=\cdots =g^{\prime }\left(x_1-\bar{x}\right)=c$$
  $g^{\prime }(x)$为常数，则认为$g(x)$是一次函数，给予待定系数，令$g(x)=cx+b$，则
  $$\sum _{i=1}^{n}g\left(x_i-\bar{x}\right)=\sum _{i=1}^{n}c\left(x_i-\bar{x}\right)+nb=0$$
  由于$\sum (x_i-\bar{x})$为0，所以$b=0$

  所以有:
  $$g(x)=cx$$
  换元，还原出$f$，则
  $$f^{\prime }(x)/f(x)=cx$$
  为一阶微分方程，解得
  $$f(x)=K\exp (\frac{1}{2}c{x}^2)$$
  我们知道密度函数$f(x)$的积分是1
  $${\int }_{-\infty }^{\infty }f(x)\mathrm{d}x=1$$
  围绕这个积分，我们可以解出$K$和$c$

  为了使积分收敛，记$c=1/{\sigma }^2$

  为了使积分等于1，利用
  $$\int e^{-t^2}\mathrm{d}t=\sqrt{\pi }$$
  得到$K=1/\sqrt{2\pi }\sigma$

  所以
  $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{x^2}{2{\sigma }^2})\sim N(0,{\sigma }^2)$$