高维高斯分布的简述


标准的一元高斯分布概率密度函数是:

f(x_1)=\frac{1}{\sqrt{2\pi}}e^{\frac{-x_1^2}{2}}

如果有另外一个随机变量x_2,它和x_1是相互独立的,那么,它们的联合概率密度函数是:


\begin{split} g(x_1, x_2) &= f(x1)f(x_2)\\             &= \frac{1}{\sqrt{2\pi}}\frac{1}{\sqrt{2\pi}}e^{\frac{-(x_1^2+x_2^2)}{2}} \end{split}


那么,如果用x_1x_2组成一个随机向量,形如:


\bm x = \left( \begin{array}{c} x_1\\ x_2 \end{array} \right)


那么,\bm x的密度函数就是:


\begin{split} g(\bm x) &=      \frac{1}{(2\pi)^{\frac{2}{2}}}e^{-\frac{x_1^2+x_2^2}{2}}\\     &=\frac{1}{(2\pi)^{\frac{2}{2}}}e^{-\frac{\bm x ^T\bm x}{2}} \end{split}

为了让形式更一般化,设:


\bm y = \frac{A(\bm x - u)}{\sigma}

概率密度函数关系里可知:

注释:这里笔误||A||---->>>|A| 是指A的矩阵

   概率密度函数间的关系

 


g(\bm y) = \frac{\|A\|}{\sigma}g(\frac{A(\bm x - u)}{\sigma})


所以,\bm y的概率密度函数是:


\begin{split} g(\bm y) &= \frac{\|A\|}{(2\pi)^{\frac{2}{2}}\sigma }e^{-\frac{(\bm x - u)^TA^TA(\bm x - u)}{2\sigma ^2}} \end{split}


令:


\Sigma=\frac{\sigma ^2}{A^TA}


如果两侧取行列式,则:


\|\Sigma\|=\frac{\sigma ^2}{\|A^TA\|}=\frac{\sigma ^2}{\|A^T\|\|A\|}=\frac{\sigma ^2}{\|A\|\|A\|}


所以:


\begin{split} g(\bm y) &= \frac{\|A\|}{(2\pi)^{\frac{2}{2}}\sigma }e^{-\frac{(\bm x - u)^TA^TA(\bm x - u)}{2\sigma ^2}}\\     &= \frac{1}{(2\pi)^{\frac{2}{2}}\|\Sigma\|^{\frac{1}{2}}}e^{-\frac{1}{2}(\bm x - u)^T\Sigma ^{-1}(\bm x - u)} \end{split}


如果\bm x\bm yd维随机变量,那么上式就变成:

g(\bm y) = \frac{1}{(2\pi)^{\frac{d}{2}}\|\Sigma\|^{\frac{1}{2}}}e^{-\frac{1}{2}(\bm x - u)^T\Sigma ^{-1}(\bm x - u)}



本博文参考:https://www.zhihu.com/question/36339816

 

 

转载于:https://www.cnblogs.com/wjy-lulu/p/7767509.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: RBF网络和斯混合聚类都使用了高斯分布作为基函数的形式。RBF网络是一种分类器,它使用了高斯分布作为隐藏层的激活函数,将数据映射到一个高维空间中,然后使用线性分类器对数据进行分类。斯混合聚类是一种聚类算法,它使用了高斯分布对数据进行建模,将数据点聚类到不同的高斯分布中。 在两种算法中,高斯分布是用来描述数据分布的概率分布函数,并且都使用了最大似然估计的方法来学习参数。 ### 回答2: RBF网络(Radial Basis Function Network)与斯混合聚类(Gaussian Mixture Clustering)在算法原理上有以下共同之处: 1. 基于斯函数:RBF网络和斯混合聚类都使用了斯函数作为基本的数学模型。RBF网络通过将输入数据映射到斯函数的输出上来实现分类或回归等任务,而斯混合聚类使用多个斯函数的加权和来表示数据的分布情况。 2. 中心点的选择:在RBF网络中,需要选择一组合适的中心点用于对输入数据进行映射,中心点的选择对网络的性能和模型的准确度有很大影响。而在斯混合聚类中,通过迭代的方式来优化中心点的位置,使得斯函数能够更好地拟合混合分布的数据。 3. 参数的估计和优化:RBF网络和斯混合聚类都需要通过优化算法来估计模型中的参数。在RBF网络中,一般采用最小二乘法或梯度下降法来调整网络中的权重和中心点位置,以使得网络的输出接近于目标值。而在斯混合聚类中,通过EM算法来估计各个高斯分布的参数,包括权重、均值和协方差矩阵,以使得模型能够更好地拟合数据的分布情况。 4. 数据的分类或聚类:最终,RBF网络和斯混合聚类都是通过将数据进行分类或聚类来实现模型的应用。RBF网络将输入数据映射到不同的类别或数值上,用于回归或分类等任务。斯混合聚类则将数据分配到不同的高斯分布中,实现对数据的聚类分析。 总的来说,RBF网络和斯混合聚类都是通过基于斯函数的方法来建模和处理数据,通过优化算法来估计参数,并最终实现对数据的分类或聚类分析。虽然应用场景和具体算法存在差异,但它们的基本原理有一定的相似性。 ### 回答3: RBF网络和斯混合聚类的算法原理的共同之处在于它们都基于斯函数进行建模和分类。 首先,RBF(Radial Basis Function)网络是一种前馈神经网络,通过将输入数据映射到斯函数的空间来建立模型。RBF网络的每个隐藏层神经元都对应一个斯函数,该函数的中心表示神经元的位置,标准差表示神经元的敏感范围。输入数据被映射到这些斯函数上,然后通过线性层进行分类或回归。RBF网络的训练过程包含着选择适当的斯中心位置和标准差,以及通过最小化误差函数来优化权重。 而斯混合聚类是一种基于统计原理的聚类方法,它假设数据集是由若干个高斯分布的组合构成的。该算法首先通过最大期望(Expectation-Maximization)算法估计每个高斯分布的参数,包括均值、方差和混合系数。然后将数据点分配到各个高斯分布中概率最的那个。最后,根据分配的结果重新估计参数,并循环迭代上述步骤直至收敛。 两种方法的共同之处在于都使用斯函数作为基础模型,通过调整参数来拟合数据。RBF网络通过选择适当的斯中心位置和标准差来建立模型,而斯混合聚类通过选择适当的高斯分布参数来估计数据集的组成方式。另外,两种方法都可以应用于数据分类和聚类领域,通过对数据的映射和分配来完成相应的任务。 总的来说,RBF网络和斯混合聚类的算法原理的共同之处在于都利用了斯函数作为建模和分类的基础,通过对参数进行调整来适应数据集。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值