混合模型是一种用于复杂分布建模的方法，适用于数据不是单一峰的情况。以北京邮电大学学生身高为例，男性和女性身高分别服从不同的正态分布，通过高斯混合模型（GMM）来描述整体分布。混合模型包含多个模型组件，每个组件对应一种分布，权重π表示每个组件的概率。在GMM中，边缘概率是通过混合权重和单个分布的概率密度函数计算得出的。对于含有隐变量的模型，如这里的性别标签Zi，通常采用EM算法进行参数估计。
混合模型简介
Overview
在对一个数据集进行分析之前,我们通常会假设样本服从某个特定的分布(如正态分布).然后进行一些工作来预测这个分布的参数(例如使用最大似然方法求得正态分布的均值和方差).
然而,在许多场景下,"样本服从某个单峰分布"的假设还是过于强烈,无法得到很好的效果.我们要建模的数据通常要更加复杂,比方说, 多峰 \textbf{多峰} 多峰的正态分布.这篇笔记描述了对这种复杂分布的标准建模方法– 混合模型 \textbf{混合模型} 混合模型
Example
假设要对北京邮电大学学生的身高建模.男学生样本服从均值为 N ( 1.76 , 0.15 ) N(1.76,0.15) N(1.76,0.15)的正态分布,而女学生样本服从 N ( 1.62 , 0.1 ) N(1.62,0.1) N(1.62,0.1)的正态分布.而抽取的样本中,75%的样本为男学生,25%的样本为女学生.
在这个例子当中,我们用 混合模型 \textbf{混合模型} 混合模型的方法对学生身高建模,在这个模型中,包含 两个正态分布 \textbf{两个正态分布} 两个正态分布,一个为男学生的身高分布,一个为女学生身高分布.我们建模的步骤如下:
- 在 B e r n o u l l i ( 0.25 ) Bernoulli(0.25) Bernoulli(0.25)中采样 Z i Z_i Zi
- 若 Z i = 0 Z_i=0 Zi=0, 那么身高分布服从 N ( 1.76 , 0.15 ) N(1.76,0.15) N(1.76,0.15), 若 Z i = 1 Z_i=1 Zi=1, 那么身高分布服从 N ( 1.62 , 0.1 ) N(1.62,0.1) N(1.62,0.1)
显然, 即时男学生和女学生的身高都服从正态分布, 北邮学生也不是一个简单的正态分布. 北邮学生身高的模型由两个 高斯模型组件 \textbf{高斯模型组件} 高斯模型组件混合组成, 称之为高斯混合模型: Gaussian mixture model (GMM) \textbf{Gaussian mixture model (GMM)} Gaussian mixture model (GMM)
Definition
假设我们观测到 X 1 , … , X n X_{1}, \ldots, X_{n} X1,…,Xn, 其中每个 X i X_{i} Xi服从 K K K个 模型组件 \textbf{模型组件} 模型组件中的某一个分布, 在上例中, K K
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
