多元正态分布最大似然估计

最新推荐文章于 2023-10-14 15:40:44 发布
最新推荐文章于 2023-10-14 15:40:44 发布
阅读量6.3k 收藏 35
点赞数 6
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45033722/article/details/108597204
版权

多元正态分布的概率密度函数

N维随机向量在这里插入图片描述
如果服从多变量正态分布，必须满足下面的三个等价条件：
任何线性组合 服在这里插入图片描述
从正态分布。
存在随机向量在这里插入图片描述
( 它的每个元素服从独立标准正态分布），向量在这里插入图片描述
及在这里插入图片描述
矩阵A满足在这里插入图片描述

存在在这里插入图片描述
和一个对称半正定阵 在这里插入图片描述
满足X的特征函数在这里插入图片描述

如果 在这里插入图片描述
是非奇异的，那么该分布
可以由以下的PDF来描述：
在这里插入图片描述
注意这里的在这里插入图片描述
表示协方差矩阵的行列式。

多元正态分布的最大似然估计

在这里插入图片描述

我们对均值求偏导

在这里插入图片描述
针对上面的矩阵求导，给出如下证明：
在这里插入图片描述
下面两个是常用的两个公式：
在这里插入图片描述
第一个公式证明，和上面的类似。
第二个小编 没有证出来（才疏学浅）。不知道哪里的问题。
在这里插入图片描述
和公式形式不一样，不知道哪里有问题。

接下来，我们在对协方差矩阵求偏导。

在这里插入图片描述

结论

在这里插入图片描述
在这里插入图片描述

推荐参考文章：
行列式求导
矩阵求导、几种重要的矩阵及常用的矩阵求导公式

大笨钟47
关注
  • 6
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数学基础 | (5) 矩阵求导Part One
sdu_hao的博客
11-18 1310
原文地址 矩阵求导的技术，在统计学、控制论、机器学习等领域有广泛的应用。鉴于我看过的一些资料或言之不详、或繁乱无绪，本文来做个科普，分作两篇，上篇讲标量对矩阵的求导术，下篇讲矩阵对矩阵的求导术。本文使用小写字母x表示标量，粗体小写字母表示向量，大写字母X表示矩阵。 首先来琢磨一下定义，标量f对矩阵X的导数，定义为,即f对X逐元素求导排成与X尺寸相同的矩阵。然而，这个定义在计算中并不好用，实用上...
正态分布数据的极大似然估计MATLAB实现
05-28
样本数据的类条件概率密度符合正态分布，对训练样本进行极大似然估计得到参数，再对测试样本进行分类。
多元正态分布的最大似然估计
qq_46841701的博客
07-25 568
首先，多元正态分布的公式为，因为行列式可以写为，根据分子布局的原理，
多元正态分布参数最大似然估计
weixin_30336061的博客
04-16 2577
　　在多元统计分析中，多元正态分布有着核心地位（很容易与一元统计分析类比），今日将其分布密度函数及最大似然估计（ML）的简单推导过程和结果记载于此，供我向SEM迈进奠基之用。首先是密度函数： 　　对于来自多元正态分布总体的样本Y~Nm(μ, V)， 　　显然很容易写出这n个样品的联合分布密度： 　　按ML的常规套路，取对数（注意为了书写方便现令Ψ=V-1）： 　　现在根据推导需要引进几个记...
（大数据分析学习）20、多元正态分布抽样与极大似然估计
纸境止境的博客
10-25 2060
联合密度函数   假定p×1向量X1，X2，…，Xn。是一个来自均值向量为μ和协方差矩阵为∑的多元正态总体的随机样本。由于X1，X2，…，X。是相互独立的，且每个为N。（μ，∑）分布，所有观测结果的联合密度函数是边缘正态密度之积： 似然函数 当可得到观测结果的数值时，它们可以代入式（4-11）中的x。对于观测结果x1，x. …，x，固定的集合，所得表达式作为u和的一个函数，称为似然函数。 （暂时...
概率笔记12——多维正态分布的最大似然估计
热门推荐
我是8位的
08-19 2万+
　　我们在前面的章节中见识过二维正态分布，(X,Y)服从参数为μ1, μ2, σ1, σ2, ρ的二维正态分布，记作(X, Y)~N(μ1, μ2, σ1, σ2, ρ)，它的密度函数： 　　其中μ1是第1维度的均值，σ12是第1维度的方差，ρ是将两个维度的相关性规范到-1到+1之间的统计量，称为样本的相关系数，定义为： 　　对于二维正态随机变量(X,Y)，X和Y相互独立的充要条件是二...
多元正态分布 多元正态分布
05-11
在实际应用中，极大似然估计是一种常用的方法来估计多元正态分布的参数，包括均值向量和协方差矩阵。估计量的性质，如无偏性和有效性，也是统计推断的重要考虑因素。抽样分布，如t分布和F分布，对于统计假设检验至关...
多元统计分析(1):多元分布(均值、协方差、统计距离)、多元正态分布(密度函数、性质、条件分布)、估计、常用多元分布及抽样分布
最新发布
01-07
常用的估计方法包括最大似然估计、矩估计等。 常用多元分布 常用的多元分布包括多元正态分布、多元 t 分布、多元 F 分布等。每种分布都有其特点和应用场景。 抽样分布 抽样分布是指从总体中抽取的样本数据的分布...
数据统计分析课程精选 厦大版《应用多元统计分析》第02章-多元正态分布的参数估计 共63页.pptx
04-29
最大似然估计法通过最大化样本数据出现的概率来估计参数，对于多元正态分布，可以找到使样本数据出现概率最大的均值向量和协方差矩阵。 在估计过程中，我们关注两个关键参数：均值向量和协方差矩阵。均值向量代表每...
【ML学习笔记】17：多元正态分布下极大似然估计最小错误率贝叶斯决策
LauZyHou的笔记
01-03 5628
简述多元正态分布下的最小错误率贝叶斯如果特征的值向量服从d元正态分布，即其概率密度函数为： 即其分布可以由均值向量和对称的协方差矩阵 唯一确定。如果认为样本的特征向量在类内服从多元正态分布： 即对于每个类i，具有各自的类内的均值向量和协方差矩阵。如之前所学，最小错误率贝叶斯的判别函数的原始形式是： 类条件概率密度服从多元正态分布，带入，得： 因为是比较大小用的，去掉与类号i无关
【多元统计分析】04.多元正态分布的参数估计
jingye333的博客
10-25 6567
多元正态分布具有两个参数——均值向量与自协方差函数，与数理统计一样，可以用抽样的方式定义一些统计量对它们进行参数估计。在这里，我们使用极大似然估计的方法，用样本均值和样本离差阵对它们进行估计。
多维正态分布的极大似然估计
weixin_43845922的博客
10-19 891
多维正态分布的MLE---ML作业4
多维高斯分布（多元正态分布）的概率密度函数和最大似然估计
chen的博客
10-14 3789
fμΣ​x2πD/21​∣Σ∣1/21​exp−21​x−μTΣ−1x−μ)}这是多维高斯分布（多元正态分布）的概率密度函数。fμΣ​xxx∈RDDxμΣx−μTx−μ∣Σ∣ΣΣ−1Σ公式的含义：这个公式描述了 D 维多维高斯分布的概率密度。它告诉我们在给定均值μ和协方差矩阵Σ的情况下，随机变量x出现在空间中的概率密度。
《机器学习笔记（三）：多元线性回归与正态分布最大似然估计》
qq_33174752的博客
01-29 6947
回归问题普遍讨论的是多元线性回归，考虑多个特征可以得到更精确的模型，这其中涉及中心极限定理，正态分布，概率密度函数和最大似然估计。 (一)背景——多元线性回归 1. 本质上就是算法（公式）变换为了多元一次方程组 y = F(x) = w1x1 + w2x2 + w3x3 + … + wnxn + w0*x0 W = （w0,w1…,wn）T X = （x0,x1…,xn）T 这里W是n行的列向量，...
【应用多元统计分析】CH3 多元正态分布
m0_72318954的博客
10-05 5326
多元正态分布相关知识介绍
正态分布下的最大似然估计
林景的博客
09-19 1万+
正态分布下的最大似然估计 前导知识：【最大似然参数估计的求解】 本文仅以单变量正态分布情况下估计其均值和方差为例来说明最大似然估计的用法。 单变量正态分布的形式为： ρ(x∣θ)=12πσe−12(x−μσ)2(1) \rho(x|\theta)=\frac{1}{\sqrt{2\pi \sigma}} e^{-\frac{1}{2} (\frac{x- \mu}{\sigma})^2} \tag 1 ρ(x∣θ)=2πσ​1​e−21​(σx−μ​)2(1) 其中均值μ\muμ和方差σ2\sigma^2σ
正态分布均值μ的极大似然估计推导
花小也盛开
03-04 1万+
正态分布的极大似然估计推导
多元正态分布的似然函数
07-23
对数似然函数可以用于最大似然估计（Maximum Likelihood Estimation, MLE），即通过找到使对数似然函数最大化的参数值来估计多元正态分布的参数。 需要注意的是，在实际计算中，为了避免数值计算上的困难，通常会...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值