最近和一位知乎上的老哥因为高维正态分布的问题撕逼,说了半天对方也不接受,我自己还差点被喷得很惨,所以来写一点自己的认识,也希望这位老哥能看看。如果真的是我错了,那就还请各路大神指点。
问题:设
服从二维正态分布,则其矩母函数(Moment Generating Function)是什么? 老哥给出的解法如下。
Solution: 设
, 则边缘分布一定是一维正态分布:
,
, 两分布均与相关系数
无关. 由于高维正态分布的任意非零线性组合也是正态分布,所以对任意
, 均有
.
而一维正态分布
的矩母函数是
, 在这里令
得到
.
所以将
视为一个整体, 可以得到
的矩母函数是
======================一条华丽的分割线======================
以下是我的个人观点。我认为上述解法存在错误,主要错在
的分布计算错误。这位老哥一直在强调高维正态分布的任意线性组合仍然为正态分布,所以拒绝接受我的意见。这个倒是没错,但是正态分布的参数呢?熟悉高维正态分布的基础性质的人都应该知道,上述解法中的
其实是错误的。让我们先来回忆一点基础知识。若随机向量
具有如下密度函数:
,
其中
,
是均值向量,
是协方差矩阵(是一个实对称正定矩阵),则我们称随机向量
服从
维高斯(正态)分布
。高维正态分布性质丰富,这里列举下面三条:
Property 1 : 特征函数:
,这里符号
代表两个向量的内积;
Property 2 : 矩母函数:
;
Property 3 : 设矩阵
,
维正态分布
,则线性变换后的
维随机向量
是
维正态分布(这是那位老哥重点强调的部分)。但但但但是,
的均值向量和协方差矩阵呢?注意到这个性质的精华在于,我们有如下结果:
接下来让我们考虑二维联合正态分布(
),并将矩阵展开来写:
,
,可以直观地看到
和相关系数
有关系,所以线性变换后的正态分布
至少要和相关系数有关,而不是像老哥的答案里连
都没出现。事实上二维联合正态分布的矩母函数可以用上述Property 2计算:
如果把矩阵全部展开,可以写成
和我撕逼的老哥只给出了
这种情况下的结果,所以我认为他是错的。他的错误源自于想当然地认为
的方差就等于
,而无视了两者之间的相关性。不要再和我强调线性组合也是正态分布了,我真的知道它是正态分布,可是您的方差算错了啊。。。
另外还有一个相关的小性质写在结尾:
Theorem: 若随机变量
,且两者独立,则
注意这个性质没说
是联合二维正态分布,所以暂时不能直接用高维正态分布的非零线性组合仍然是正态分布来解释。
最后还请大家理性讨论,注意和谐,本人第一次在知乎发文章,实在是还请各位大佬多多包涵。