高斯分布公式推导

设真值为 $\theta$, $x_1,x_2\cdots ,x_n$为 n 次独立测量值, 每次测量的误差为$e_i=x_i–\theta$，假设误差$e_i$的密度函数为 $f(e)$, 则测量值的联合概率为$n$个误差的联合概率，记为:
$$\begin{array}{rl}L(\theta )& =L(x_1,x_2,\cdots ,x_n:\theta )\\ & =\prod _{i=1}^{n}f(e_i)\\ & =\prod _{i=1}^{n}f(x_i-\theta )\end{array}$$
对上式两边取对数：
$$lnL(\theta )=\sum _{i=1}^{n}lnf(x_i-\theta )$$

对上式两边求导：
$$\begin{array}{rl}\frac{dlnL(\theta )}{d\theta }& =\sum _{i=1}^n\frac{dlnf(x_i-\theta )}{d\theta }\\ & =\sum _{i=1}^n\frac{f^{\prime }(x_i-\theta )}{f(x_i-\theta )}\end{array}$$

为求极大似然估计，令
$$\frac{dlnL(\theta )}{d\theta }=0$$
记 $g(x)=\frac{f^{\prime }(x)}{f(x)}$，则有：
$$\sum _{i=1}^{n}g(x_i-\theta )=0$$
由于高斯假设极大似然估计的解就是算术平均 $\overline{x}$，把解代入上式，可以得到:
$$\sum _{i=1}^{n}g(x_i-\overline{x})=0\text{\hspace{1em}(1)}$$
$(1)$ 式中取 $n=2$, 有:
$$g(x_1-\overline{x})+g(x_2-\overline{x})=0$$
由于此时有 $x_1-\overline{x}=-(x_2-\overline{x})$, 并且 $x_1,x_2$是任意的，由此得到:
$$g(-x)=-g(x)$$
$(1)$ 式中再取 $n=m+1$, 并且取 $x_1=x_2\cdots =x_m=-x;x_{m+1}=mx$, 则有 $\overline{x}=0$, 并且:
$$\sum _{i=1}^{n}g(x_i-\overline{x})=mg(-x)+g(mx)=0$$
即有：
$$g(mx)=mg(x)$$
而满足上式的唯一的连续函数就是 $g(x)=cx$, 从而进一步可以求解出:
$$f(x)=M{e}^{cx2}$$
由于$f(x)$是概率密度函数，把$f(x)$正规化一下就得到均值为0的正态分布密度函数$N(0,{\sigma }^2)$。