PGM学习之二 PGM模型的分类与简介

最新推荐文章于 2022-08-26 19:37:06 发布

萝卜羊

最新推荐文章于 2022-08-26 19:37:06 发布

阅读量8.7k

点赞数 1

分类专栏： PGM课程笔记

本文链接：https://blog.csdn.net/polly_yang/article/details/9336129

版权

本文介绍了概率图模型（PGM）的分类，包括参数模型、非参数模型和半参数模型，并重点讲解了PGM中的Factor概念及其在模型运算中的作用。此外，还阐述了贝叶斯网络的定义，强调了节点间的条件概率关系以及如何通过Chain Rule计算联合概率分布。

摘要由CSDN通过智能技术生成

废话：和上一次的文章确实隔了太久，希望趁暑期打酱油的时间，将之前学习的东西深入理解一下，同时尝试用Python写相关的机器学习代码。

一 PGM模型的分类

通过上一篇文章的介绍，相信大家对PGM的定义和大致应用场景有了粗略的了解。那么接下来我们来深入了解下PGM。

首先要介绍的是Probabilistic models（概率模型），常用来描述不同的随机变量之前的关系，主要针对变量或变量间的相互不确定性的概率关系建模。总的来说，概率模型分为两类：

一类是参数模型-可以用有限个参数进行准确定义

参数模型是一组由有限维参数构成的分布集合 $\mathcal{P}=\{\mathbb{P}_{\theta} : \theta \in \Theta\}$ 。其中 $\theta$ 是参数，而 $\Theta \subseteq \mathbb{R}^d$ 是其可行欧几里得子空间。概率模型可被用来描述一组可产生已知采样数据的分布集合。例如，假设数据产生于唯一参数的高斯分布，则我们可假设该概率模型为 $\mathcal{P}=\{\mathbb{P}(x; \mu, \sigma) = \frac{1}{\sqrt{2 \pi} \sigma} \exp\left\{ -\frac{1}{2\sigma^2}(x-\mu)^2\right\} : \mu \in \mathbb{R}, \sigma > 0\}$ 。

二类是非参数模型-即无法采用有限参数进行准确定义的模型

无参数模型则是一组由无限维参数构成的概率分布函数集合，可被表示为 $\mathcal{P}=\{\text{all distributions}\}$ 。相比于无参数模型和参数模型，半参数模型也由无限维参数构成，但其在分布函数空间内并不紧密。例如，一组混叠的高斯模型。确切的说，如果 $d$ 是参数的维度， $n$ 是数据点的大小，如果随着