认识高斯分布

今天,我要介绍我们早就知道的一种分布,它叫做高斯分布。高斯分布在概率论中算是比较核心的一种分布了,而在机器学习中,高斯分布也随处可见,比如单高斯模型高斯混合模型高斯过程等等,它们都是基于高斯分布的。作为理解连续性随机变量的基础和深入理解在机器学习中的广泛应用,高斯分布是十分有必要学习的。

 

高斯分布又叫做正态分布,高斯分布概率密度函数的函数形式是由德国著名的天才数学家、统计学家、物理学家和天文学家高斯推导出。与高斯分布相关的一个重要定理是中心极限定理,它的内容为:任何分布的抽样分布当样本足够大时,其渐进分布都是高斯分布。高斯分布的密度函数为

 

      

 

其中数学期望值等于位置参数,决定了分布的位置,其标准差等于尺度参数,决定了分布的幅度。高斯分布的概率密度函数曲线呈钟形,因此又称为钟形曲线,通常所说的标准正态分布就是时的高斯分布。接下来进入本文最重要的环节---高斯分布的概率密度函数推导。有一篇不错的论文,讲述了高斯分布的完整推导过程。

 

论文链接:http://www.doc88.com/p-0814329057281.html

 

接下来根据高斯分布的概率密度函数来推导期望。过程如下

 

 

 

有关高斯分布的文章:http://www.itongji.cn/article/111313452012.html

 

 

 

### EM算法求解高斯分布统计模型 在处理含有隐变量的数据集时,EM算法提供了一种有效的方法来估计高斯混合模型(Gaussian Mixture Model, GMM)的参数[^3]。该方法特别适用于当无法直接应用极大似然估计的情况。 #### E步:期望计算 E步的主要目标是在给定当前参数的情况下,计算隐藏变量的概率分布。具体来说,在每一轮迭代中,对于每个样本\(x_i\)以及可能来自的不同高斯分量\(k\), 计算其属于各个组件的概率\[ \gamma(z_{ik}) = P(Z=k|X=x_i;\theta^{(t)})=\frac{\pi_k^{(t)}N(x_i|\mu_k^{(t)},\Sigma_k^{(t)})}{\sum_j^n\pi_j^{(t)}N(x_i|\mu_j^{(t)},\Sigma_j^{(t)})} \][^1]。这里,\(\pi_k\)表示第\(k\)个高斯成分的选择概率; \(N()\)代表正态密度函数。\(\mu_k\) 和 \(\Sigma_k\)分别是均值向量和协方差矩阵。 #### M步:最大化更新 一旦获得了关于隐藏状态的新认识,即完成了E步,则可以进入M步以重新评估并优化模型参数。此阶段的目标是最小化负对数似然损失函数,并据此调整各高斯分量的比例系数、均值及协方差矩阵:\[\begin{aligned}\hat{\pi}_k &= \frac{1}{n}\sum_i^n\gamma(z_{ik}), \\ \hat{\mu}_k&= \frac{\sum_i^n\gamma(z_{ik})x_i } {\sum_i^n\gamma(z_{ik})},\\ \hat{\Sigma}_k & = \frac{\sum_i^n\gamma(z_{ik})(x_i-\hat{\mu}_k)(x_i-\hat{\mu}_k)^T}{\sum_i^n\gamma(z_{ik})}. \end{aligned}\][^4] 上述两步骤交替执行直到收敛条件满足为止,通常表现为连续两次迭代间的变化幅度小于预设阈值或达到最大允许次数。 ```python import numpy as np from sklearn.mixture import GaussianMixture # 假设有如下二维数据点集合 X X = ... gmm = GaussianMixture(n_components=3) # 设定有三个不同的高斯分布组成混合模型 gmm.fit(X) print("Means:") for mean in gmm.means_: print(mean) print("\nCovariances:") for covar in gmm.covariances_: print(covar) ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值