正态分布的推导笔记

本篇文章来源于知乎上一篇关于正态分布推导的文章，醍醐灌顶，因此记录下笔记

from Introduction To The Normal Distribution (Bell Curve), BySaul Mcleod, PhD, https://www.simplypsychology.org/normal-distribution.html

假设有误差概率密度函数 $f(t)$，现在有 $n$ 个独立观测的值 $x_1$，$x_2$，$\cdots$，$x_n$，假设真值为 $\mu$，那么误差为：

$$\begin{array}{rl}{\epsilon }_1& =x_1-\mu \\ {\epsilon }_2& =x_2-\mu \\ & ⋮\\ {\epsilon }_n& =x_n-\mu \end{array}$$

根据生活经验，这个误差 $\epsilon$，在做大量的观测下，其大部分的数值应在 $0$ 附近范围波动，且出现的频数较多。而误差大的观测值，相应的 $|\epsilon |$ 也应很大，出现的频数也应该较小。做极大似然函数：

$$\begin{array}{rl}L(\mu )& =\prod _{i=1}^{n}f\left({\epsilon }_i\right)\\ & =f\left(x_1-\mu \right)f\left(x_2-\mu \right)\cdots f\left(x_n-\mu \right)\end{array}$$

对 $L(\mu )$ 取自然对数：

$$\begin{array}{rl}\ln [L(\mu )]& =\ln \left[\prod _{i=1}^{n}f\left({\epsilon }_i\right)\right]\\ & =\ln \left[f\left(x_1-\mu \right)f\left(x_2-\mu \right)\cdots f\left(x_n-\mu \right)\right]\\ & =\ln \left[f\left(x_1-\mu \right)\right]+\ln \left[f\left(x_2-\mu \right)\right]+\cdots +\ln \left[f\left(x_n-\mu \right)\right]\\ & =\sum _{i=1}^n\ln \left[f\left(x_i-\mu \right)\right]\end{array}$$

为了得到 $\ln [L(\mu )]$ 的最大值，对其 $\ln [L(\mu )]$ 求偏导并令其等于 $0$

$$\begin{array}{rl}\frac{\partial \ln [L(\mu )]}{\partial \mu }& =\frac{\partial {\sum }_{i=1}^n\ln \left[f\left(x_i-\mu \right)\right]}{\partial \mu }\\ & =-\sum _{i=1}^n\frac{f^{\prime }\left(x_i-\mu \right)}{f\left(x_i-\mu \right)}\\ & =0\end{array}$$

令 $g(t)=\frac{f^{\prime }(t)}{f(t)}$，则上述式子变成：

$$\sum _{i=1}^{n}g\left(x_i-\mu \right)=0$$

到了这一步后，精彩的部分就开始来了，这也是高斯的高明之处，他认为 $\mu$ 的无偏估计应为 $\bar{x}$，则原式子变为

$$\sum _{i=1}^{n}g\left(x_i-\bar{x}\right)=0$$

其中，

$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

解上述方程，对每个 $x_i$ 求偏导，比如对 $x_1$ 求偏导，可得如下方程：

$$\begin{array}{rl}\frac{\partial {\sum }_{i=1}^{n}g\left(x_i-\bar{x}\right)}{\partial x_1}& =\frac{\partial {\sum }_{i=1}^{n}g\left(x_i-\frac{1}{n}{\sum }_{i=1}^n{x}_i\right)}{\partial x_1}\\ & =g^{\prime }\left(x_1-\bar{x}\right)\left(1-\frac{1}{n}\right)+g^{\prime }\left(x_2-\bar{x}\right)\left(-\frac{1}{n}\right)+\cdots +g^{\prime }\left(x_n-\bar{x}\right)\left(-\frac{1}{n}\right)\\ & =0\end{array}$$

将 $g^{\prime }\left(x_i-\bar{x}\right)$ 看做未知数，把上述 个齐次线性方程组写成矩阵方程 $\mathbf{Ax}=0$ 的形式：

$$\left(\begin{array}{cccc}1-\frac{1}{n}& -\frac{1}{n}& \cdots & -\frac{1}{n}\\ -\frac{1}{n}& 1-\frac{1}{n}& \cdots & -\frac{1}{n}\\ ⋮& ⋮& ⋮& ⋮\\ -\frac{1}{n}& -\frac{1}{n}& -\frac{1}{n}& 1-\frac{1}{n}\end{array}\right)\left(\begin{array}{c}{g}^{\prime }\left(x_1-\bar{x}\right)\\ g^{\prime }\left(x_2-\bar{x}\right)\\ ⋮\\ g^{\prime }\left(x_n-\bar{x}\right)\end{array}\right)=\left(\begin{array}{c}0\\ 0\\ ⋮\\ 0\end{array}\right)$$

对于上述方程组的系数矩阵 $\mathbf{M}$，将第 $1,2,3\cdots ,n$ 行依次加到第 $1$ 行，可得如下矩阵：

$$\mathbf{M}=\left(\begin{array}{cccc}1-\frac{1}{n}& -\frac{1}{n}& \cdots & -\frac{1}{n}\\ -\frac{1}{n}& 1-\frac{1}{n}& \cdots & -\frac{1}{n}\\ ⋮& ⋮& ⋮& ⋮\\ -\frac{1}{n}& -\frac{1}{n}& -\frac{1}{n}& 1-\frac{1}{n}\end{array}\right)\to \left(\begin{array}{cccc}0& 0& \cdots & 0\\ -\frac{1}{n}& 1-\frac{1}{n}& \cdots & -\frac{1}{n}\\ ⋮& ⋮& ⋮& ⋮\\ -\frac{1}{n}& -\frac{1}{n}& -\frac{1}{n}& 1-\frac{1}{n}\end{array}\right)$$

第一行全为0，那么 $\det M=0$，这只能说明方程组有无穷多解，具体还要算出 $\mathrm{rank}(\mathbf{M})$。最终，上述方程组的解可以写为

$$\mathbf{X}=k\left(\begin{array}{c}{g}^{\prime }\left(x_1-\bar{x}\right)\\ g^{\prime }\left(x_2-\bar{x}\right)\\ ⋮\\ g^{\prime }\left(x_n-\bar{x}\right)\end{array}\right)=k\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)$$

即 $g^{\prime }\left(x_1-\bar{x}\right)=g^{\prime }\left(x_2-\bar{x}\right)=\cdots =g^{\prime }\left(x_n-\bar{x}\right)=k$，解微分方程，可得：

$$g(t)=kt+b$$

求解该微分方程：

$$\begin{array}{rl}\int \frac{f^{\prime }(t)}{f(t)}\mathrm{d}t=\int kt\mathrm{d}t& \iff \int \frac{\mathrm{d}[f(t)]}{f(t)}=\frac{1}{2}k{t}^2+c\\ & \iff \ln [f(t)]=\frac{1}{2}k{t}^2+c\\ & \iff f(t)=K{\mathrm{e}}^{\frac{1}{2}k{t}^2}\end{array}$$

同时，$f(t)$ 为概率密度函数，那么其从 $-\infty$ 到 $\infty$ 的积分为 $1$（概率密度的正则性）

$$\begin{array}{rl}{\int }_{-\infty }^{+\infty }f(t)\mathrm{d}t& ={\int }_{-\infty }^{+\infty }K{\mathrm{e}}^{\frac{1}{2}k{t}^2}\mathrm{d}t\\ & =K{\int }_{-\infty }^{+\infty }{\mathrm{e}}^{-\frac{t^2}{2{\sigma }^2}}\mathrm{d}t\\ & =K\sqrt{\sqrt{2}\sigma \left[{\int }_{-\infty }^{+\infty }{\mathrm{e}}^{-{\left(\frac{t}{\sqrt{2}\sigma }\right)}^2}\mathrm{d}\left(\frac{1}{\sqrt{2}\sigma }t\right)\right]\left[\sqrt{2}\sigma {\int }_{-\infty }^{+\infty }{\mathrm{e}}^{-{\left(\frac{s}{\sqrt{2}\sigma }\right)}^2}\mathrm{d}\left(\frac{1}{\sqrt{2}\sigma }s\right)\right]}\\ & =K\sqrt{2}\sigma \sqrt{{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{\mathrm{e}}^{-\left(u^2+v^2\right)}\mathrm{d}u\mathrm{d}v}\\ & =K\sqrt{2}\sigma \sqrt{{\int }_0^{2\pi }\mathrm{d}\theta {\int }_0^{+\infty }{\mathrm{e}}^{-r^2}r\mathrm{d}r}\\ & =K\sqrt{2}\sigma \sqrt{\pi }\\ & =1\end{array}$$

最终求得概率密度函数：

$$f(t)=\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{1}{2}{\left(\frac{t}{\sigma }\right)}^2}$$