本文介绍了深度生成模型中的玻尔兹曼机和受限玻尔兹曼机（RBM）。玻尔兹曼机是一种基于能量的模型，学习二值向量的概率分布，而RBM是无向图模型，常作为深度概率模型的基础组件。RBM具有无层内连接的特性，其条件分布可因子分解，便于计算和采样。训练RBM通常采用最大似然方法，如对比散度(CD)和比率匹配等。
第二十章 深度生成模型 Deep Generative Models
深度生产模型在某种程度上都代表了多个变量的概率分布。
从数据分布生成真实样本是生成模型的目标之一。
有些模型允许显式地计算概率分布函数。 其他模型则不允许直接评估概率分布函数，但支持隐式获取分布知识的操作，如从分布中采样。
为了让模型理解表示在给定训练数据中的大千世界，训练具有隐藏单元的生成模型是一种有力方法。 通过学习模型 p model ( x ) p_{\text{model}}(x) pmodel(x)和表示 p model ( h ∣ x ) p_{\text{model}}(h \mid x) pmodel(h∣x)，生成模型可以解答 x x x输入变量之间关系的许多推断问题， 并且可以在层次的不同层对 h h h求期望来提供表示 x x x的许多不同方式。 生成模型承诺为AI系统提供它们需要理解的、所有不同直观概念的框架，让它们有能力在面对不确定性的情况下推理这些概念。
玻尔兹曼机Boltzmann machine
玻尔兹曼机（Boltzmann machine）最初用来学习二值向量上的任意概率分布。
玻尔兹曼机的变体（包含其他类型的变量）早已超过了原始玻尔兹曼机的流行程度。
我们在 d d d维二值随机向量 x ∈ 0 , 1 d x \in {0, 1}^d x∈0,1d上定义玻尔兹曼机。 玻尔兹曼机是一种基于能量的模型，意味着我们可以使用能量函数定义联合概率分布：
P ( x ) = exp ( − E ( x ) ) Z P(x) = \frac{\exp(-E(x))}{Z} P(x)=Zexp(−E(x))
其中 E ( x ) E(x) E(x)是能量函数， Z Z Z是确保 ∑ x P ( x ) = 1 \sum_{x} P(x)=1 ∑x
最低0.47元/天 解锁文章
扫一扫
1125
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
