二维ising模型概率c语言_伯努利混合模型（Bernoulli Mixture Model）

一、前言

笔者本学期有一门数据挖掘的课程，教授重点讲解了有限混合模型（Finite Mixture Model），是聚类分析常用的方法之一，其中最经典的就是大家所熟知的高斯混合模型（Gaussian Mixture Model，GMM）。因此笔者参考GMM的推导公式，对伯努利混合模型（Bernoulli Mixture Model，BMM）也进行了相同方式的推导，并通过EM算法（Expectation–maximization algorithm）实现了对BMM参数的极大似然估计。相信对GMM比较了解的小伙伴们，也一定可以自己推导出更加简单的BMM。如果你不了解GMM，这也不会影响你掌握本文的BMM。

我们知道GMM通常用于对变量空间是连续的数据进行聚类，而BMM则适用于处理离散的数据，尤其是二进制格式的数据。本文首先会介绍单独的伯努利分布，包括三种概率分布模型：二维伯努利模型，多维伯努利模型，以及多变量伯努利模型；其次，分别对三种模型建立其混合模型，并对其参数进行极大似然估计。

二、伯努利分布 （Bernoulli distribution）

2.1. 二维伯努利分布（Two-dimensional Bernoulli distribution）

二维伯努利分布是关于二维布尔向量

的概率分布，其中

，且满足

，及

中只有一个为1；设参数向量

，

，分别表示

以及

的概率，且满足

。其概率分布函数为：

(1)

由此可见，二维伯努利也可考虑成一维伯努利去应用，也就是我们本科所学的伯努利实验，这里称其为二维是为了与后面介绍的多维伯努利相一致。二维伯努利最简单的应用就是抛硬币问题，一个硬币共有两个面，每次实验只会出现一个面朝上。因此二维伯努利模型可处理类似如下二进制数据集：

2.2. 多维伯努利分布 （Multi-dimensional Bernoulli distribution）

多维伯努利分布的随机变量由二维拓展为了

维布尔向量

，其中

，且满足

，及向量

中只有一个元素为1；设参数向量

，其中

，表示为

的概率，且满足