多元正态分布的最大似然估计

先试着证明一些小结论（可能不规范）

先记p×p方阵$A$满足，
$$A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1p}\\ a_{21}& a_{22}& \cdots & a_{2p}\\ ⋮& ⋮& & ⋮\\ a_{p1}& a_{p2}& \cdots & a_{pp}\end{array}\right)$$

矩阵的行列式对矩阵求导（分母布局）

因为行列式可以写为，
$$|A|=a_{i1}{A}_{i1}+...+a_{ij}{A}_{ij}+...+a_{ip}{A}_{ip}$$
所以有，
$$\frac{\partial |A|}{\partial a_{ij}}=A_{ij}$$
根据分母布局的原理，
$$\frac{\partial |A|}{\partial A}={(A^{\ast })}^T$$

矩阵的逆对矩阵求导（分母布局）

首先逆矩阵的定义，
$$A{A}^{-1}=I$$
直接两边对A求导，
$$A^{-1}\frac{\partial A}{\partial A}+A\frac{\partial A^{-1}}{\partial A}=O$$
直接就能得到，
$$\frac{\partial A^{-1}}{\partial A}=-{(A^{-1})}^2$$

还有一些常见求导公式（不证明了）

这里$A$为矩阵，$x$为向量。
$$\frac{\partial x^{T}Ax}{\partial x}=(A^T+A)x$$$$\frac{\partial x^{T}Ax}{\partial A}=x{x}^T$$

多元正态分布参数的MLE估计值

首先，多元正态分布的公式为，
$$N(\mu ,\Sigma )=\frac{1}{{(2\pi )}^{p/2}}\frac{1}{{|\Sigma |}^{1/2}}\exp (-\frac{1}{2}{(x-\mu )}^T{\Sigma }^{-1}(x-\mu ))$$
记有$n$个样本，$x_1,x_2,......,x_n$，似然函数为，
$$L(\mu ,\Sigma )=\prod _{i=1}^n\frac{1}{{(2\pi )}^{p/2}}\frac{1}{{|\Sigma |}^{1/2}}\exp (-\frac{1}{2}{(x_i-\mu )}^T{\Sigma }^{-1}(x_i-\mu ))$$
对数似然函数为，
$$\ln L(\mu ,\Sigma )=-\frac{np}{2}\ln (2\pi )-\frac{n}{2}\ln |\Sigma |-\frac{1}{2}\sum _{i=1}^n({(x_i-\mu )}^T{\Sigma }^{-1}(x_i-\mu ))$$
分别对$\mu$和$\Sigma$求导，
$$\frac{\partial \ln L}{\partial \mu }=\sum _{i=1}^n{\Sigma }^{-1}(x_i-\mu )=0$$$$\frac{\partial \ln L}{\partial \Sigma }=-\frac{n{\Sigma }^{\ast }}{2|\Sigma |}+\frac{1}{2}{\Sigma }^{-2}\sum _{i=1}^n(x_i-\mu ){(x_i-\mu )}^T=0$$
上式可直接得到，
$$\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i$$
下式可先化简，
$$\frac{n}{2}{\Sigma }^{-1}=\frac{1}{2}{\Sigma }^{-2}\sum _{i=1}^n(x_i-\mu ){(x_i-\mu )}^T$$
进而得到，
$$\hat{\Sigma }=\frac{1}{n}\sum _{i=1}^n(x_i-\hat{\mu }){(x_i-\hat{\mu })}^T$$