本文详细推导了单变量高斯分布的标准化条件、均值、方差及其最大似然估计。通过概率密度函数的标准化条件得到积分公式，再利用变量替换证明积分结果。接着，对均值和方差进行了推导，说明均值最大似然估计是无偏的，方差的最大似然估计是渐进无偏的。最后，讨论了最大似然估计的无偏性和渐进无偏性。下一篇文章将探讨曲线拟合的数学原理。
关于单变量高斯分布的一些数学推导
对 Christopher M. Bishop 大神的 《Pattern Recognition and Machine Learning》书中第一章相关单变量高斯分布的一些公式进行了详细推导。涉及到书中的公式，其编号与原书一致。
单变量高斯分布定义为：
(1.46) N ( x ∣ μ , σ 2 ) = 1 ( 2 π σ 2 ) 1 / 2 exp { − 1 2 σ 2 ( x − μ ) 2 } \mathcal{N}(x|\mu,\sigma^2)=\frac{1}{(2\pi\sigma^2)^{1/2}} \exp \left\{ -\frac{1}{2\sigma^2}(x-\mu)^2\right\} \tag{1.46} N(x∣μ,σ2)=(2πσ2)1/21exp{ −2σ21(x−μ)2}(1.46)
1. 满足概率密度函数的标准化条件的推导,即推导式(1.48) :
(1.48) ∫ − ∞ ∞ N ( x ∣ μ , σ 2 ) d x = 1 \int_{-\infty}^\infty \mathcal{N}(x|\mu,\sigma^2) \mathrm{d}x = 1 \tag{1.48} ∫−∞∞N(x∣μ,σ2)dx=1(1.48)
∫ − ∞ ∞ N ( x ∣ μ , σ 2 ) d x = ∫ − ∞ ∞ 1 ( 2 π σ 2 ) 1 / 2 exp { − 1 2 σ 2 ( x − μ ) 2 } d x = 1 ( 2 π σ 2 ) 1 / 2 ∫ − ∞ ∞ exp { − 1 2 σ 2 ( x − μ ) 2 } d x = 1 ( 2 π σ 2 ) 1 / 2 ∫ − ∞ ∞ exp { − 1 2 ( x − μ σ ) 2 } d x = 1 ( 2 π σ 2 ) 1 / 2 σ ∫ − ∞ ∞ exp { − 1 2 ( x − μ σ ) 2 } d x − μ σ = 1 ( 2 π ) 1 / 2 ∫ − ∞ ∞ exp ( − 1 2 t 2 ) d t 这里使用 t = x − μ σ 进行代换 = 1 ( 2 π ) 1 / 2 2 ∫ − ∞ ∞ exp [ − ( t 2 ) 2 ] d t 2 = 1 π ∫ − ∞ ∞ exp ( − z 2 ) d z = 1 \begin{aligned} \int_{-\infty}^\infty \mathcal{N}(x|\mu,\sigma^2) \mathrm{d}x &= \int_{-\infty}^\infty \frac{1}{(2 \pi \sigma^2)^{1/2}} \exp \left\{ -\frac{1}{2\sigma^2}(x-\mu)^2 \right\} \mathrm{d}x \\ &= \frac{1}{(2 \pi \sigma^2)^{1/2}} \int_{-\infty}^\infty \exp \left\{ -\frac{1}{2\sigma^2}(x-\mu)^2 \right\} \mathrm{d}x \\ &= \frac{1}{(2 \pi \sigma^2)^{1/2}} \int_{-\infty}^\infty \exp \left\{ -\frac{1}{2}(\frac{x-\mu}{\sigma})^2 \right\} \mathrm{d}x \\ &= \frac{1}{(2 \pi \sigma^2)^{1/2}} \sigma \int_{-\infty}^\infty \exp \left\{ -\frac{1}{2}(\frac{x-\mu}{\sigma})^2 \right\} \mathrm{d}\frac{x-\mu}{\sigma} \\ &= \frac{1}{(2 \pi )^{1/2}}\int_{-\infty}^\infty \exp \left( -\frac{1}{2}t^2 \right) \mathrm{d}t \quad \text{这里使用$t=\frac{x-\mu}{\sigma}$进行代换 }\\ &= \frac{1}{(2 \pi )^{1/2}} \sqrt{2} \int_{-\infty}^\infty \exp \left[ -\left(\frac{t}{\sqrt{2}}\right)^2 \right] \mathrm{d}\frac{t}{\sqrt{2}} \\ &= \frac{1}{\sqrt{\pi}} \int_{-\infty}^\infty \exp (-z^2 ) \mathrm{d}z \\ &= 1 \end{aligned} ∫−∞∞N(x∣μ,σ2)dx=∫−∞∞(2πσ2)1/21exp{ −2σ21(x−μ)2}dx=(2πσ2)1/21∫−∞∞exp{ −2σ21(x−μ)2}dx=(2πσ2)1/21∫−∞∞exp{ −21(σx−μ)2}dx=(2πσ2)1/21σ∫−∞∞exp{ −21(σx−μ)2}dσx−μ=(2π)1/21∫−∞∞exp(−21t2)dt这里使用t=σx−μ进行代换 =(2π)1/212∫−∞∞exp[−(2t)2]d2t=π1∫−∞∞exp(−z2)dz=1
注：关于 ∫ − ∞ ∞ e − x 2 d x = π \int_{-\infty}^{\infty} e^{-x^2} \mathrm{d} x = \sqrt{\pi} ∫−∞∞e−x2dx=π 的证明
令
I = ∫ − ∞ ∞ exp ( − x 2 ) d x I = \int_{-\infty}^\infty \exp (-x^2 ) \mathrm{d}x I=∫−∞∞exp(−x2)dx
则有
I 2 = ∫ − ∞ ∞ exp ( − x 2 ) d x ∫ − ∞ ∞ exp ( − y 2 ) d y = ∫ − ∞ ∞ ∫ − ∞ ∞ exp ( − x 2 − y 2 ) d x d y \begin{aligned} I^2 &= \int_{-\infty}^\infty \exp (-x^2 ) \mathrm{d}x \int_{-\infty}^\infty \exp (-y^2 ) \mathrm{d}y\\ &=\int_{-\infty}^\infty\int_{-\infty}^\infty \exp (-x^2-y^2 )\mathrm{d}x\mathrm{d}y \end{aligned} I2=∫−∞∞exp(−x2)dx∫−∞∞exp(−y2)dy=∫−∞∞∫−∞∞exp(−x2−y2)dxdy
又令 x = r cos θ x=r\cos\theta x=rcosθ ， y = r sin θ y=r\sin\theta y=rsinθ ，则有
I 2 = ∫ − ∞ ∞ ∫ − ∞ ∞ exp ( − x 2 − y 2 ) d x d y = ∫ 0 2 π ∫ 0 ∞ exp ( − r 2 ) r d r d θ = ∫ 0 2 π d θ ∫ 0 ∞ exp ( − r 2 ) r d r = − π ∫ 0 ∞ exp ( − r 2 ) d ( − r 2 ) = − π [ exp ( − r 2 ) ] 0 ∞ = π \begin{aligned} I^2 &=\int_{-\infty}^\infty\int_{-\infty}^\infty \exp (-x^2-y^2 )\mathrm{d}x\mathrm{d}y \\ &= \int_0^{2\pi}\int_0^\infty \exp (-r^2)r\mathrm{d}r\mathrm{d}\theta \\ &= \int_0^{2\pi} \mathrm{d}\theta \int_0^\infty \exp (-r^2)r\mathrm{d}r \\ &= -\pi \int_0^\infty \exp (-r^2)\mathrm{d}(-r^2)\\ &= -\pi \left[ \exp (-r^2) \right]_0^{\infty}\\ &= \pi \end{aligned} I2=∫−∞∞∫−∞∞exp(−x2−y2)dxdy=∫02π∫0∞exp(−r2)rdrdθ=∫02πdθ∫0∞exp(−r2)rdr=−π∫0∞exp(−r2)d(−r2)=−π
最低0.47元/天 解锁文章
1725
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
