HMM 理论基础及金融市场的应用

贝叶斯定理到贝叶斯网

贝叶斯公式

上面是我们耳熟能详的贝叶斯公式，为什么要从这个基本公式讲起呢？原因在于现代统计模型和概率模型的灵魂便是条件分布，而条件分布的理论基础便是这个简单的贝叶斯公式。

单纯讲数学未免太枯燥，我们用简单的例子来说明这个概念。比如我们有只股票S，简单起见，它只有两种状态{U,D}，U和D分别表示上涨和下跌。如果我们想知道它每天上涨和下跌的概率，只需要简单得统计历史中上涨和下跌的天数就好了，看如下示意图

这个便是我们关于任意一天股票S涨跌X的后验分布：

有些读者也许觉得不满意，这根本就是完全随机嘛，为什么不把昨天的涨跌数据算进去呢？当然可以，只不过这次我们要重新搜集事件样本，原来我们默认每天的涨跌作为一个事件并对其进行频数统计，现在我们要把两个连续的涨跌定义为一个事件。
下面的第一个是频数表格，行表示前一天的状态，即条件，列表示今天的状态，当我们把每一行的数据进行0-1正规化，便得到了我们右边的条件概率二联表，而我们对这个概率的计算方式正好就是贝叶斯公式：

这时候，我们的条件概率分布为：

留意的读者会发现，我们的表格变成二维的了。当然，我们还可以继续扩展，比如把前一天的价格也考虑进去，我们的条件概率表变成三维的了，读者可以类比正方体（二维正好是四个方块构成的正方形）。
第一层表格代表前天价格上涨的情况，第二层表代表前天价格下跌的情况：

所以，大家可以看到，随着我们条件信息的增多，我们需要表示条件概率分布的复杂度也在呈现指数上升。在我们的例子里，复杂度为$2^n$，其中$n$为条件信息的数量。
在这里的复杂度，我们可以理解为需要表示或存储条件概率分布的空间复杂度，也可以理解为我们需要估计的参数的数量。

这里我们还要再对比一下连续分布函数，对于条件连续分布，它的复杂性更多地不是空间复杂度，而是分析复杂度，超过一定的复杂度，很可能我们的理论框架和工具就很难处理了，或者没有必要。

贝叶斯网

在这里，基于我们的目的，我们暂且把贝叶斯网看成是一种对概率分布的建模工具或者可视化表述，下面举了一些例子：

大家可以从上总结出一些规律，单变量分布代表“起始”节点，即没有进入箭头，只有出去的箭头。条件分布中的条件变量代表父节点，随机变量代表子节点。这样我们就发现，貌似所有的联合概率分布都可以用DAG（有向无环图）来表示。

那我们来尝试用DAG来表示一个序列（5个随机变量）的联合概率分布：

这个DAG一共有10条边，如果增加到6个随机变量，就有15条边，同理类推，n个随机变量就有$\frac{n(n-1)}{2}$条边。而长度超过100的随机序列很正常，那将需要4950条边才能完整表述我们的联合概率分布，这里每一条边都代表一个我们需要建模的概率分布！
为了减少问题的复杂性，我们通过概率独立性和条件独立来解决这个问题。

隐含马尔科夫模型

没错，这个DAG就是隐含马尔科夫模型，我们只需要引入下面两个假设就能得到：

于是有联合概率分布：

对于类似HMM的这类时序模型temporal models，有几个概念我们要总结一下：

Filtering

Filtering相当于在线计算$P$