2020-4-20 深度学习笔记20 - 深度生成模型 3 (实值数据上的玻尔兹曼机)

第二十章 深度生成模型 Deep Generative Models

中文
英文

2020-4-17 深度学习笔记20 - 深度生成模型 1 (玻尔兹曼机，受限玻尔兹曼机RBM)
2020-4-18 深度学习笔记20 - 深度生成模型 2 (深度信念网络DBN，深度玻尔兹曼机DBM)

实值数据上的玻尔兹曼机Boltzmann Machines for Real-Valued Data

玻尔兹曼机最初是为二值数据而开发的，但是许多应用，例如图像和音频建模似乎需要表示实值上概率分布的能力。

在本节中，我们介绍概率密度定义在实值数据上的玻尔兹曼机。

1.Gaussian-Bernoulli RBM 高斯伯努利RBM

在Gaussian-Bernoulli RBM上定义能量函数的一种方式：
$$E(v,h)=\frac{1}{2}{v}^{\top }(\beta \odot v)-(v\odot \beta {)}^{\top }Wh-b^{\top }h$$

我们还可以添加额外的项或者通过方差而不是精度参数化能量。

2.条件协方差的无向模型 Undirected Models of Conditional Covariance

高斯RBM感应偏置不能很好地适合某些类型的实值数据中存在的统计变化，特别是自然图像。 由于高斯RBM仅对给定隐藏单元的输入条件均值建模，所以它不能捕获条件协方差信息。

对此提出的替代模型，设法更好地考虑实值数据的协方差。 这些模型包括

• 均值和协方差RBM，mcRBM
• 学生$t$分布均值乘积模型
• 尖峰和平板RBM

2-1.均值和协方差RBM，mcRBM Mean and Covariance RBM

mcRBM使用隐藏单元独立地编码所有可观察单元的条件均值和协方差。

在二值均值的单元$h^{(m)}$和二值协方差单元$h^{(c)}$的情况下，mcRBM模型被定义为 两个能量函数的组合：
$$E_{mc}(x,h^{(m)},h^{(c)})=E_m(x,h^{(m)})+E_c(x,h^{(c)})$$
其中$E_{\text{m}}$为标准的Gaussian-Bernoulli RBM能量函数。
E m ( x , h ( m ) ) = 1 2 x