矩母函数

矩母函数

概念

矩

什么叫矩？
给出知乎上的一个回答矩的概念以及wiki上的数学定义。

数学上，一个分布函数$f(x)$的$n$阶矩定义为

$$\mu_n = \int_{-\infty}^{\infty}(x-c)^nf(x)\mathrm dx$$

物理学上的力矩、转动惯量、磁矩、角动量、电偶极矩，统计学上的原点矩，都是这个形式。

母函数

• 幂级数展开中各阶系数和一个数列对应相等的函数，称为这个数列的母函数，也叫生成函数(generating function)。显然，任一个函数都是其幂级数展开各项系数组成的数列的母函数。

一个序列{$a_n$}的母函数为[1]

$$G(a_n;x)=\sum_{n=0}^{\infty}a_nx^n$$

矩母函数

• 矩母函数，能产生一个随机变量各阶原点矩的母函数。

• 定义式[2]
  

  $$M_X(t)=Ee^{tX},t\in \mathbb R$$

• 一般形式
  $$M_X(t)=\int _{-\infty}^{\infty}e^{tX}\mathrm dF(x)$$
• 离散随机变量
  $$M_X(t)=\sum _{k=0}^{\infty}e^{tk}p(X=k)$$
• 连续型随机变量
  $$M_X(t)=\int _{-\infty}^{\infty}e^{tx}f(x)\mathrm dx$$
• 随机向量的矩母函数
  $$M_{\mathbf X}(\mathbf t)=Ee^{\mathbf t\cdot\mathbf X}=Ee^{\mathbf t^{T}\mathbf X},t\in \mathbb R$$

性质

• $$M_X(t)\ge0$$
• $$M_X(0)=1$$
  

  proof
  

  $$M_X(0)=E(1)=1$$

• $M_X(t)$可能不存在。

  example Cauchy Distribution
  proof
  

  $$f(x)=\dfrac{1}{\pi(1+x^2)}$$
  $$E(x)=\int_{-\infty}^{\infty}x\dfrac{1}{\pi(1+x^2)}\mathrm d x\\=\dfrac{1}{2\pi}\int_{-\infty}^{\infty}\dfrac{\mathrm d(1+x^2)}{(1+x^2)}\\=\dfrac{1}{\pi}\ln(1+x^2)\vert_0^{\infty}\to\infty$$

• $$M_X(0)^{(n)}=m_n$$

  proof
  因为
  

  $$e^{tX}=1+tX+\dfrac{t^2X^2}{2!}+\dfrac{t^3X^3}{3!}+\cdots$$
  所以
  $$M_X(t)=1+tEX+\dfrac{t^2EX^2}{2!}+\dfrac{t^3EX^3}{3!}+\cdots\\=1+tm_1+\dfrac{t^2m_2}{2!}+\dfrac{t^3m_3}{3!}+\cdots$$
  所以
  $$M_X(0)^{(n)}=m_n$$

• 对连续型随机变量，$M_X(-t)$是$f(x)$的Laplace变换。

• 线性性.$X_1,X_2$独立时
  

  $$M_{aX_1+bX_2}=M_{X_1}(at)M_{X_1}(bt)$$

  proof
  

  $$M_{aX_1+bX_2}=Ee^{t(aX_1+bX_2)}=E(e^{taX_1}\cdot e^{tbX_2})=E(e^{taX_1})E( e^{tbX_2})=M_{X_1}(at)M_{X_1}(bt)$$

• 若$M_X(t)=M_Y(t)$处处成立，则$F_X(x)=F_Y(x)$也处处成立，即两个随机变量的矩母函数相同，那么分布函数也相同。

一些分布的矩母函数

（图片来自wikipedia）

特征函数

概念

• 特征函数，能完全刻画一个随机变量概率分布的函数。

• 定义式[Characteristic function]
  

  $$\varphi_X(t)=Ee^{itX},t\in \mathbb R$$

• 一般形式
  $$\varphi_X(t)=\int _{-\infty}^{\infty}e^{itX}\mathrm dF(x)$$
• 离散随机变量
  $$\varphi_X(t)=\sum _{k=0}^{\infty}e^{itk}p(X=k)$$
• 连续型随机变量
  $$\varphi_X(t)=\int _{-\infty}^{\infty}e^{itx}f(x)\mathrm dx$$
• 随机向量的特征函数
  $$\varphi_{\mathbf X}(\mathbf t)=Ee^{i\mathbf t\cdot\mathbf X}=Ee^{i\mathbf t^{T}\mathbf X},t\in \mathbb R$$

性质

• $\varphi_X(t)$一定存在，且$|\varphi(t)|\le 1$

  proof
  

  $$\begin{array} >|\varphi_X(t)|=\left|\int _{-\infty}^{\infty}e^{itX}\mathrm dF(x)\right|\\\le|e^{itX}|\left|\int _{-\infty}^{\infty}\mathrm dF(x)\right|\\\le1 >\end{array}$$
  收敛

• $$\varphi_X(0)=1$$

proof

$$\varphi_X(0)=E(1)=1$$

• 全空间连续。
• $0$邻域内非零。
• 厄米性
  $$\varphi_X(-t)=\overline{\varphi_X(t)}$$
• 对称的概率密度分布对应的特征函数是实值偶函数。
• $$f_X(x)=f_Y(x)\Leftrightarrow\varphi_X(t)=\varphi_Y(t)$$

• $$m_n=EX^n=(-i)^n\varphi_X^{(n)}(0)$$

  proof
  因为
  

  $$e^{itX}=1+itX+\dfrac{i^2t^2X^2}{2!}+\dfrac{i^3t^3X^3}{3!}+\cdots$$
  所以
  $$\varphi_X(t)=1+itEX+\dfrac{i^2t^2EX^2}{2!}+\dfrac{i^3t^3EX^3}{3!}+\cdots\\=1+itm_1+\dfrac{i^2t^2m_2}{2!}+\dfrac{i^3t^3m_3}{3!}+\cdots$$
  所以
  $$\varphi_X(0)^{(n)}=m_ni^n$$

• 对连续型随机变量，$\varphi_X(-t)$是$f(x)$的Fourier变换。

• 线性性.$X_1,X_2$独立时
  

  $$\varphi_{aX_1+bX_2}=\varphi_{X_1}(at)\varphi_{X_1}(bt)$$

  proof
  

  $$\varphi_{aX_1+bX_2}=Ee^{it(aX_1+bX_2)}=E(e^{itaX_1}\cdot e^{itbX_2})=E(e^{itaX_1})E( e^{itbX_2})=\varphi_{X_1}(at)\varphi_{X_1}(bt)$$

• Lévy’s continuity theorem

一些分布的特征函数

（图片来自wikipedia）