非参数贝叶斯隐式半马尔可夫模型

#试着翻译 Matthew J.Johnson 的这篇文章

##Abstract
将无处不在的对时间序列处理的马尔可夫模型加入层次性狄利克雷过程隐式马尔可夫链（HDP-HMM）作为一个自然的非参数贝叶斯的扩展是很重要的。但是，很多时候，HMM的马尔可夫性的约束是很不必要的，尤其是当我们想要学习或者编码非几何分布的状态时间的时候。我们可以扩展HDP-HMM来获取一种从确定时间段的半马尔可夫模型获取的架构，这种架构现在基本是使用的参数型的非贝叶斯设置。这样我们可以构建一个可以使用状态时间的自然先验信息的高解释性的模型。
本文中，我们介绍了确定时间的HDP-HSMM，同时开发了一个快速的后验推理的采样算法。这个方法同时也能用来做有限贝叶斯HSMM的推理。我们的结构化吉布斯采样算法可以被集成在更大的层次性贝叶斯模型中，给贝叶斯推理添加了另一种工具。

Introduction

在无监督的前提下，对于一套序列数据，我们经常要推理有意义的状态或者主题。这些状态在数据中，可以用数据的一些特征来描述和区别。比如，Speaker diarization问题，我们有一个记录一个会议的单独的声音文件，我们希望来推理一共有多少个人在说话。他们说话的时候，有一些特征就影响了他们讲话的模式。或者将家庭电源信号分离为各个设备的电源信号，如果我们能够利用我们对每个设备电源模式的电平和持续时间的先前知识，我们将能够更好地完成任务(Kolter和Johnson，2011)。这种针对序列数据的学习问题是普遍存在的，因此我们希望建立通用模型，既足够灵活，适用于许多领域，又足够表达适当的信息。
隐马尔可夫模型（HMM）已被证明是处理序列数据学习问题的优秀通用模型，但它们有两个显著的缺点：（1）状态持续时间分布必须受限于几何形式，这对于许多实际数据并不合适；（2）隐藏状态的数量必须先验地设定，以便不从数据中以贝叶斯的方式推断模型复杂度。
贝叶斯非参数方法最近解决了后者的问题。特别是，分层狄利克雷过程HMM（HDP-HMM）提供了一个强大的框架，可以从数据中推断出任意大的状态复杂度（Teh等人，2006；Beal等人，2002）。然而，HDP-HMM并没有解决实际数据中的非马尔可夫性问题。在非参数设置中，马尔可夫的缺点甚至会加剧，因为数据中的非马尔可夫行为可能会导致创建不必要的额外状态和不真实的快速切换动态（Fox等人，2008）。
避免快速切换问题的一种方法是粘性HDP-HMM（Fox等人，2008），它引入了一个学习的全局自转移偏置来防止快速切换。事实上，粘性模型在多个应用程序中已经表现出显著的性能提升。然而，它与HDP-HMM共享几何状态持续时间的限制，因此限制了模型在持续时间结构方面的表达能力。此外，它的全局自转移偏置在所有状态之间共享，因此不允许学习状态特定的持续时间信息。无限分层HMM（Heller等人，2009）在其状态层次结构的较粗层次上引入非马尔可夫状态持续时间，但即使是较粗层次也受到总和几何形式的限制，因此很难融合先验信息。此外，从这些模型中构建后验样本可能计算成本高昂，因此找到利用问题结构的有效算法是一个重要的研究领域。
这些潜在的局限性和需要改进的方面促使我们进行显式持续时间半马尔科夫建模的研究，这在参数化（通常是非贝叶斯）设置中已经获得了成功的历史。我们将半马尔可夫思想与HDP-HMM结合起来构建一个通用的模型类，既允许贝叶斯非参数推断状态复杂性，也允许一般的持续时间分布。此外，我们开发的用于分层狄利克雷过程隐藏半马尔可夫模型（HDP-HSMM）的采样技术提供了新的方法来推断HDP-HMM，可以避免一些导致慢混合速率的困难。我们在合成数据集和真实数据集上展示了我们的模型和算法的适用性。
本文的其余部分组织如下。在第2节中，我们描述了显式持续时间HSMM和现有的HSMM信息传递算法，我们使用这些算法构建了高效的贝叶斯推断算法。我们还简要介绍了贝叶斯非参数HDP-HMM和采样推断算法。在第3节中，我们开发了HDP-HSMM和相关模型。在第4节中，我们开发了弱极限和直接赋值采样器（Teh等人，2006年）的扩展，用于我们的模型，并描述了一些改进某些设置的计算效率的技术。
第5节展示了HDP-HSMM在合成数据和真实数据上的有效性。在合成实验中，我们展示了我们的采样器在由HMM和HSMM生成的数据上混合非常快，并准确地学习参数值和状态基数。我们还展示了，虽然HDP-HMM无法捕捉HSMM生成序列的统计信息，但我们可以构建高效的HDP-HSMM，有效地学习数据是由HMM还是HSMM生成的。作为一个真实数据实验，我们将HDP-HSMM应用于功率信号分解问题。