Alan Lockett,博士 人工智能,德克萨斯大学奥斯汀分校(2012年)
RBM和DBM是具有不同但相关的拓扑的图形模型。DBN是基于堆叠RBM的计算模型,但是不对应于任何特定概率模型。
更详细地说,玻尔兹曼机器(BMs)是在1980年代基于统计物理学提出的。BM是一种图形模型,具有跨越一组可见节点和一组隐藏节点的无向链接。每个节点都是一个随机变量,并且具有指示其激活倾向的偏差。每个链接都有一个权重,表示节点之间的交互强度。通常,可见节点的值作为输入给出,并且一个试图以隐藏节点为条件推断隐藏节点的值。在二进制模型中,给定所有其他节点的状态,任何特定节点都具有伯努利分布,其参数证明是逻辑神经元。
限制玻尔兹曼机(RBM)是一种BM,其中每个可见节点都连接到每个隐藏节点。通常没有其他连接。这将RBM转换为二分图,这意味着可以以块推断节点的值,首先推断所有可见节点,然后推断所有隐藏节点。因此,RBM被认为是一个双层神经网络,有一个可见层和一个隐藏层。这些公式恰好是具有逻辑激活的前馈神经网络(假设隐藏节点是二进制的)。但是训练是不同的,通常使用具有持久性马尔可夫链的对比分歧(CD),尽管近年来已经开发出用于推断权重和偏差的新技术。特别是CD导致准Hebbian更新规则。
深度信任网络(DBN)是通过一次一个地训练RBM然后将它们堆叠在彼此之上以便推断连续的隐藏层而形成的。一旦RBM被堆叠,它就会改变堆栈中下RBM的隐藏值的先验分布(先前现在由上层而不是下层的隐藏偏差确定)。由于隐藏节点的先前已经改变,这意味着隐藏节点的条件推断未通过前馈传递正确完成。只有最顶层的RBM仍然是“正确”的图形模型。尽管如此,DBN相对容易编码,并且只需几层就可以很好地工作。更有针对性的是,DBN可用于初始化深度神经网络,该网络可通过反向传播轻松快速地进行微调。见Hinton,Osindero和Teh,2006。
深度信念机器(DBM)将DBN转变为完整的无向图形模型。它与RBM的连接具有不同的连接。DBM将隐藏节点分组为几个隐藏层h1,... ,hñH1,...,Hñ约束条件是可见层仅连接到第一个隐藏层,然后每个隐藏层仅连接到其下方和上方的层,没有横向连接(参见http://www.utstat.toronto的图2).edu / ~r ...)。RBM具有非常简单的推理规则,而DBM中的推断是近似的,并且取决于通过隐藏层的多次通过。为了推断隐藏层的状态,您需要知道它上面和下面的层的状态,因此您必须进行某种迭代采样以找到隐藏状态(例如,Gibbs采样)。很明显,DBM是一种BM。
所以最终你要谈的是三种不同的模型,其中两种是图形模型(RBM和DBM),第三种是RBM的启发式应用,以实现深度的外观。