【Copula】【双变量高斯分布和高斯混合聚类】Copula VB(CVB)的性能优于VB、EM和k均值算法等最先进的均场方法（Matlab代码实现）

💥💥💞💞欢迎来到本博客❤️❤️💥💥

🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。

⛳️座右铭：行百里者，半于九十。

📋📋📋本文目录如下：🎁🎁🎁

目录

💥1 概述

📚2 运行结果

🎉3 参考文献

🌈4 Matlab代码、数据、文章

---

💥1 概述

Variational Bayes（VB），也被称为独立均场近似，在近年来已成为贝叶斯网络推理中流行的方法。其应用非常广泛，例如在神经网络、压缩感知、聚类等领域。在本文中，VB中的独立性约束将被放宽到一个条件约束类，称为统计学中的copula。由于联合概率分布总是属于copula类，新颖的copula VB（CVB）近似是VB的一种广义形式。通过信息几何，我们将看到CVB算法会将原始联合分布迭代投影到一个copula约束空间，直到达到局部最小Kullback-Leibler（KL）散度。通过这种方式，所有的均场近似，例如迭代VB、期望最大化（EM）、迭代条件模式（ICM）和k均值算法，都是CVB近似的特例。

对于一个通用的贝叶斯网络，CVB的一个增强层次形式也将被设计出来。而均场算法只能为相关网络返回一个局部最优的近似，增强型CVB网络，即一个较简单网络结构混合的最优加权平均，有可能首次实现全局最优的近似。通过高斯混合聚类的模拟，CVB的分类准确性将被展示为远远优于最先进的VB、EM和k均值算法。

本文还将重新审视VB的三种流行特例，即期望最大化（EM）[21]，[22]，迭代条件模式（ICM）[23]，[24]和k均值算法[25]，[26]。在文献中，众所周知的EM算法被证明是VB的一个特例[1]，[2]，其中VB的一个边缘通过Dirac delta函数限制为一个点估计。在本文中，将展示EM算法不仅达到了局部最小的KL散度，而且还可能返回真实边缘分布的局部最大后验（MAP）点估计。这证明了在某些MAP估计的情况下，EM算法相对于VB的优越性，因为VB边缘中的峰值可能与真实边缘的峰值不同。

如果所有VB边缘都被限制在Dirac delta空间，那么迭代VB算法将变成ICM算法，它返回原始分布的局部联合MAP估计。此外，对于标准正态混合聚类，ICM算法等效于众所周知的k均值算法，正如本文所示。k均值算法还等效于Lloyd-Max算法[25]，在量化上下文中被广泛使用。

为了说明，本文将应用上述CVB及其特例到两个经典模型，即双变量高斯分布和高斯混合聚类。通过调整这两个模型中的相关性，CVB的性能将被证明优于VB、EM和k均值算法等最先进的均场方法。通用贝叶斯网络的增强CVB形式也将被研究并应用到这个高斯混合模型中。

📚2 运行结果

部分代码：

%/ setting for Ground truth
setting.M = 2;   % number of data's dimension
%-------------------------------------------------
setting.K = 4;   % number of clusters
%-------------------------------------------------
setting.N = 100; % number of time points
%-------------------------------------------------
setting.offset = 1; % offset for origin of x-y plan
%/

%/ setting for Algorithms
%-------------------------------------------------
setting.maxLoop = 200; % maximum number of iteration
%-------------------------------------------------
setting.init_pos = [-1 0; 0 1; 1 0; 0 -1]'; % matrix of initial position of cluster means (dimension x K)
%-------------------------------------------------
setting.ELBOthresh = 0.01; % converged  if [ELBO < input.ELBOthresh]
%/

%/
%-------------------------------------------------
setting.MonteCarlo = 10;    % number of Monte Carlo runs
%-------------------------------------------------
setting.Radius = [0.1,1:8]; % varying Radius (x-axis)
%-------------------------------------------------
setting.plotRadius = 4; % plot the case of Radius = 4
%/

🎉3 参考文献

文章中一些内容引自网络，会注明出处或引用为参考文献，难免有未尽之处，如有不妥，请随时联系删除。

🌈4 Matlab代码、数据、文章