一、前言
笔者本学期有一门数据挖掘的课程,教授重点讲解了有限混合模型(Finite Mixture Model),是聚类分析常用的方法之一,其中最经典的就是大家所熟知的高斯混合模型(Gaussian Mixture Model,GMM)。因此笔者参考GMM的推导公式,对伯努利混合模型(Bernoulli Mixture Model,BMM)也进行了相同方式的推导,并通过EM算法(Expectation–maximization algorithm)实现了对BMM参数的极大似然估计。相信对GMM比较了解的小伙伴们,也一定可以自己推导出更加简单的BMM。如果你不了解GMM,这也不会影响你掌握本文的BMM。
我们知道GMM通常用于对变量空间是连续的数据进行聚类,而BMM则适用于处理离散的数据,尤其是二进制格式的数据。本文首先会介绍单独的伯努利分布,包括三种概率分布模型:二维伯努利模型,多维伯努利模型,以及多变量伯努利模型;其次,分别对三种模型建立其混合模型,并对其参数进行极大似然估计。
二、伯努利分布 (Bernoulli distribution)
2.1. 二维伯努利分布(Two-dimensional Bernoulli distribution)
二维伯努利分布是关于二维布尔向量
由此可见,二维伯努利也可考虑成一维伯努利去应用,也就是我们本科所学的伯努利实验,这里称其为二维是为了与后面介绍的多维伯努利相一致。二维伯努利最简单的应用就是抛硬币问题,一个硬币共有两个面,每次实验只会出现一个面朝上。因此二维伯努利模型可处理类似如下二进制数据集:
2.2. 多维伯努利分布 (Multi-dimensional Bernoulli distribution)
多维伯努利分布的随机变量由二维拓展为了