多维正态随机变量的条件概率密度函数推导

本文介绍了条件概率密度、条件期望、条件方差的概念及其表达式,并提供了分块矩阵求逆的方法及其背后的矩阵反演公式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

分布的对数概率密度函数(Log-Probability Density Function, Log-PDF)是统计学和机器学习中常用的工具,尤其在参数估计、贝叶斯推断以及最大似然估计中具有重要作用。通过对原始概率密度函数取自然对数,可以简化乘法运算为加法运算,从而提高数值计算的稳定性和效率。 ### 分布的概率密度函数回顾 一维分布的概率密度函数为: $$ f(x \mid \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) $$ 其中: - $ x $ 是随机变量; - $ \mu $ 是均值; - $ \sigma^2 $ 是方差; - $ \exp(\cdot) $ 表示自然指数函数 $ e^{(\cdot)} $ [^3]。 ### 对数概率密度函数推导 对上述公式两边取自然对数,得到对数概率密度函数: $$ \log f(x \mid \mu, \sigma^2) = -\frac{1}{2} \log(2\pi\sigma^2) - \frac{(x - \mu)^2}{2\sigma^2} $$ 进一步展开可得: $$ \log f(x \mid \mu, \sigma^2) = -\frac{1}{2} \log(2\pi) - \frac{1}{2} \log(\sigma^2) - \frac{(x - \mu)^2}{2\sigma^2} $$ 这一形式在实际应用中更便于处理多个独立样本的联合概率,因为多个样本的联合概率密度可以通过对数概率相加来实现,避免了浮点下溢问题。 ### 多维分布的对数概率密度函数 对于多维分布,其概率密度函数为: $$ f(\mathbf{x}) = \frac{1}{(2\pi)^{d/2} |\Sigma|^{1/2}} \exp\left(-\frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu})\right) $$ 其中: - $ \mathbf{x} $ 是 $ d $ 维随机向量; - $ \boldsymbol{\mu} $ 是 $ d $ 维均值向量; - $ \Sigma $ 是 $ d \times d $ 的协方差矩阵 [^4]。 对应的对数概率密度函数为: $$ \log f(\mathbf{x}) = -\frac{d}{2} \log(2\pi) - \frac{1}{2} \log(|\Sigma|) - \frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu}) $$ 这一形式广泛应用于多元统计分析、高斯过程回归和图像识别等领域。 ### 应用场景 1. **最大似然估计(MLE)**:在参数估计中,通过对数似然函数最大化来估计模型参数,例如估计分布的均值和方差。 2. **贝叶斯推断**:在后验概率计算中,对数概率用于简化乘积运算,尤其是在高维空间中。 3. **机器学习模型训练**:如高斯朴素贝叶斯、高斯混合模型(GMM)、变分自编码器(VAE)等模型都依赖于对数概率进行优化。 4. **金融建模**:由于股票收益率常被假设服从分布或近似分布,对数概率用于风险评估和资产定价 [^2]。 5. **信号处理与图像识别**:在基于概率模型的分类和聚类任务中,使用对数概率可提升计算效率并增强数值稳定性。 ### 示例代码(Python) 以下是一个使用 NumPy 实现一维分布对数概率密度函数的示例: ```python import numpy as np def log_normal_pdf(x, mu, sigma): """ 计算一维分布的对数概率密度函数 :param x: 输入数据点 :param mu: 均值 :param sigma: 标准差 :return: 对数概率密度 """ return -0.5 * np.log(2 * np.pi * sigma**2) - (x - mu)**2 / (2 * sigma**2) # 示例使用 x = 1.5 mu = 0.0 sigma = 1.0 print("Log PDF:", log_normal_pdf(x, mu, sigma)) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

流浪猪头拯救地球

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值