二维正态分布的最大似然估计_机器学习系列（二）多元正态分布

最新推荐文章于 2022-11-23 16:36:30 发布

林玉伟

最新推荐文章于 2022-11-23 16:36:30 发布

阅读量5k

点赞数 4

文章标签：二维正态分布的最大似然估计

本文链接：https://blog.csdn.net/weixin_36335482/article/details/114480255

版权

$equation?tex=%E5%A4%9A%E5%85%83%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83%5C%5C$

一元正态分布回顾

如果随机变量

$equation?tex=Y$ 服从均值为

$equation?tex=u$ 方差为

$equation?tex=%5Csigma%5E2$ 的正态分布 (Univariate normal distribution)，

$equation?tex=Y%5Csim+N%28%5Cmu%2C%5Csigma%5E2%29$ ，则其概率密度函数为：

$equation?tex=f%28y%29%3D%5Cfrac%7B1%7D%7B%5Csqrt%7B2+%5Cpi%7D+%5Csigma%7D+e%5E%7B-%5Cfrac%7B%28y-%5Cmu%29%5E%7B2%7D%7D%7B2+%5Csigma%5E%7B2%7D%7D%7D%2C+%5Cquad-%5Cinfty%3Cy%3C%5Cinfty%5C%5C$ 整个分布可以仅用均值及方差来刻画

如果变量之间不相关，则它们相互独立

经典统计检验通常基于正态分布假设

正态分布可以模拟大量自然现象

多元正态分布

多元正态分布密度函数

类比于一元情况，若

$equation?tex=p$ 维随机变量

$equation?tex=%5Cmathrm%7By%7D%3D%5Cleft%28Y_%7B1%7D%2C+%5Cldots%2C+Y_%7Bp%7D%5Cright%29%5E%7B%5Cprime%7D$ 服从均值向量为

$equation?tex=%5Cmu$ 和协方差矩阵为

$equation?tex=%5Csum_%7B%7D%5E%7B%7D%7B%7D$ 的多元正态分布 (Multivariate normal distribution)，记为

$equation?tex=Y%5Csim+N_p%28%5Cmu%2C%5CSigma%29$ ，则密度函数为

$equation?tex=f%28y%29%3D%5Cfrac%7B1%7D%7B%7B%282+%5Cpi%29%7D%5E%7Bp%2F2%7D%7C%5CSigma%7C%5E%7B1%2F2%7D+%7D++e%5E%7B-%7B%28y-%5Cmu%29%27%5CSigma%5E%7B-1%7D%7D%28y-%5Cmu%29%2F2%7D%5C%5C$ 当

$equation?tex=p%3D2$ 时,

$equation?tex=%5Cboldsymbol%7B%5Cmu%7D%3D%5Cleft%28%5Cbegin%7Barray%7D%7Bc%7D+%5Cmu_%7B1%7D+%5C%5C+%5Cmu_%7B2%7D+%5Cend%7Barray%7D%5Cright%29%2C+%5Cmathbf%7B%5CSigma%7D%3D%5Cleft%28%5Cbegin%7Barray%7D%7Bcc%7D+%5Csigma_%7B1%7D%5E%7B2%7D+%26+%5Crho_%7B12%7D+%5Csigma_%7B1%7D+%5Csigma_%7B2%7D+%5C%5C+%5Crho_%7B12%7D+%5Csigma_%7B1%7D+%5Csigma_%7B2%7D+%26+%5Csigma_%7B2%7D%5E%7B2%7D+%5Cend%7Barray%7D%5Cright%29%5C%5C$

$equation?tex=+$

所以随机向量

$equation?tex=y%3D%5Cleft%28Y_%7B1%7D%2C+Y_%7B2%7D%5Cright%29%5E%7B%5Cprime%7D$ 服从二元正态分布 (Bivariate normal distribution)：

$equation?tex=+%5Cmathbf%7By%7D+%5Csim+B+N%5Cleft%28%5Cmu_%7B1%7D%2C+%5Cmu_%7B2%7D%2C+%5Csigma_%7B1%7D%5E%7B2%7D%2C+%5Csigma_%7B2%7D%5E%7B2%7D%2C+%5Crho_%7B12%7D%5Cright%29$ ，其密度函数为：

$equation?tex=%5Cbegin%7Baligned%7D+f%5Cleft%28y_%7B1%7D%2C+y_%7B2%7D%5Cright%29%3D%26+%5Cfrac%7B1%7D%7B2+%5Cpi+%5Csigma_%7B1%7D+%5Csigma_%7B2%7D+%5Csqrt%7B%5Cleft%281-%5Crho_%7B12%7D%5E%7B2%7D%5Cright%29%7D%7D+%5Ctimes+%5C%5C+%26+%5Cexp+%5Cleft%5C%7B-%5Cfrac%7B%5Cleft%28%5Cfrac%7By_%7B1%7D-%5Cmu_%7B1%7D%7D%7B%5Csigma_%7B1%7D%7D%5Cright%29%5E%7B2%7D%2B%5Cleft%28%5Cfrac%7By_%7B2%7D-%5Cmu_%7B2%7D%7D%7B%5Csigma_%7B2%7D%7D%5Cright%29%5E%7B2%7D-2+%5Crho_%7B12%7D%5Cleft%28%5Cfrac%7By_%7B1%7D-%5Cmu_%7B1%7D%7D%7B%5Csigma_%7B1%7D%7D%5Cright%29%5Cleft%28%5Cfrac%7By_%7B2%7D-%5Cmu_%7B2%7D%7D%7B%5Csigma_%7B2%7D%7D%5Cright%29%7D%7B2%5Cleft%281-%5Crho_%7B12%7D%5E%7B2%7D%5Cright%29%7D%5Cright%5C%7D+%5Cend%7Baligned%7D$

概率密度等高线

由于多元正态分布的密度函数为

$equation?tex=f%28y%29%3D%5Cfrac%7B1%7D%7B%7B%282+%5Cpi%29%7D%5E%7Bp%2F2%7D%7C%5CSigma%7C%5E%7B1%2F2%7D+%7D++e%5E%7B-%7B%28y-%5Cmu%29%27%5CSigma%5E%7B-1%7D%7D%28y-%5Cmu%29%2F2%7D%5C%5C$

其概率密度等高线可表示为：

$equation?tex=%7B%28y-%5Cmu%29%27%5CSigma%5E%7B-1%7D%7D%28y-%5Cmu%29%3Dc%5E2$ ，

$equation?tex=c$ 为一常数。

根据矩阵谱分解(Spectral decomposition):

$equation?tex=%5Cboldsymbol%7B%5CSigma%7D%3D%5Csum_%7Bj%3D1%7D%5E%7Bp%7D+%5Clambda_%7Bj%7D+%5Cmathbf%7Be%7D_%7Bj%7D+%5Cmathbf%7Be%7D_%7Bj%7D%5E%7B%5Cprime%7D%5C%5C$

这里的

$equation?tex=%28%5Clambda_%7Bj%7D+%5Cmathbf%7Be%7D_%7Bj%7D+%29%2Cj+%3D+1%2C...%2C+p$ 是协方差矩阵

$equation?tex=%5CSigma$ 的(正交)特征值-特征向量对。从而

$equation?tex=%5Cboldsymbol%7B%5CSigma%7D%5E%7B-1%7D%3D%5Csum_%7Bj%3D1%7D%5E%7Bp%7D%5Cfrac%7B1%7D%7B+%5Clambda_%7Bj%7D%7D++%5Cmathbf%7Be%7D_%7Bj%7D+%5Cmathbf%7Be%7D_%7Bj%7D%5E%7B%5Cprime%7D%5C%5C$

概率密度等高线：

$equation?tex=%7B%28y-%5Cmu%29%27%5CSigma%5E%7B-1%7D%7D%28y-%5Cmu%29%3Dc%5E2$ ，可写为：

$equation?tex=%5Csum_%7Bj%3D1%7D%5E%7Bp%7D%5Cfrac%7B%5Cleft%5C%7B+e_j%27%28y-%5Cmu%29+%5Cright%5C%7D%5E2%7D%7B+c%5E2%5Clambda_%7Bj%7D%7D+%3D1%5C%5C$

每条等高线都是以

$equation?tex=%5Cmu+$ 为中心、以

$equation?tex=%5Cpm+c+%5Csqrt%7B%5Clambda_j%7De_j$ 为轴长的椭球。这里的

$equation?tex=%28%5Clambda_j%2Ce_j%29%2Cj%3D1%2C...%2Cp$ ，是协方差矩阵

$equation?tex=%5CSigma$ 的特征值-特征向量。

二元正态分布概率密度等高线

同理，二元正态分布的概率密度等高线可以简化为：

$equation?tex=%7B%5Cleft%28%5Cfrac%7By_%7B1%7D-%5Cmu_%7B1%7D%7D%7B%5Csigma_%7B1%7D%7D%5Cright%29%5E%7B2%7D%2B%5Cleft%28%5Cfrac%7By_%7B2%7D-%5Cmu_%7B2%7D%7D%7B%5Csigma_%7B2%7D%7D%5Cright%29%5E%7B2%7D-2+%5Crho_%7B12%7D%5Cleft%28%5Cfrac%7By_%7B1%7D-%5Cmu_%7B1%7D%7D%7B%5Csigma_%7B1%7D%7D%5Cright%29%5Cleft%28%5Cfrac%7By_%7B2%7D-%5Cmu_%7B2%7D%7D%7B%5Csigma_%7B2%7D%7D%5Cright%29%7D%3Dc_1%5E2%5C%5C$

考虑

$equation?tex=%5Crho_%7B12%7D%3D0$ 时的情况：

$equation?tex=%5Cleft%28%5Cfrac%7By_%7B1%7D-%5Cmu_%7B1%7D%7D%7Bc_1%5Csigma_%7B1%7D%7D%5Cright%29%5E%7B2%7D%2B%5Cleft%28%5Cfrac%7By_%7B2%7D-%5Cmu_%7B2%7D%7D%7Bc_1%5Csigma_%7B2%7D%7D%5Cright%29%5E%7B2%7D%3D1$

$equation?tex=%E5%A4%9A%E5%85%83%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83%E7%9A%84%E6%80%A7%E8%B4%A8%5C%5C$

线性组合

向量

$equation?tex=y$ 的线性组合的正态性：

• 假设

$equation?tex=a%3D%28a_1%2C...%2Ca_p%29%27$ 是一个常数向量，

最低0.47元/天解锁文章

林玉伟

关注

4
点赞
踩
23

收藏

觉得还不错? 一键收藏
0
评论
二维正态分布的最大似然估计_机器学习系列（二）多元正态分布

一元正态分布回顾如果随机变量服从均值为方差为的正态分布 (Univariate normal distribution)，，则其概率密度函数为：整个分布可以仅用均值及方差来刻画如果变量之间不相关，则它们相互独立经典统计检验通常基于正态分布假设正态分布可以模拟大量自然现象多元正态分布多元正态分布密度函数类比于一元情况，若维随机变量服从均值向量为和协方差矩阵为的多元正态分布 ...
复制链接

扫一扫