马尔可夫模型

引言

例子

先给个例子如下：

二阶马尔可夫模型

基本符号

补充：题目中连续四天下雨就对应一个状态序列（rainy，rainy， rainy，rainy）

解释：

1. $\theta$其实对应我们最开始题目中的两个表格，这两个表格分别有个名字，状态初始化概率矩阵$\pi$，状态转移概率矩阵$A$。
2. 上面的二阶马尔可夫模型是说今天的天气和前天的天气没有关系，只和昨天的天气有关，其实想想，这确实有道理。举个例子，假设前天和昨天的天气是晴天和阴天。那么今天是雨天的概率是多少？根据二阶马尔可夫模型有P(雨天|阴天，晴天）=P(雨天|阴天）

两个参数

状态初始化概率

状态转移概率

上述两个都要好好理解一下归一性，不难。
最终，使用上述的符号、知识可以得到连续四天下雨的概率为：

参数估计

本文开头给的题目是直接给出了：状态初始化概率矩阵$\pi$和状态转移概率矩阵$A$，然后给我们一个状态序列，要我们算概率。
现在考虑另外一个问题，这两个矩阵我们并不知道，显然这更加符合现实生活，现在我们的任务是通过历史数据估计出这两个矩阵里面的每一个值是多少。这就是参数估计。比如可能给你如下数据：

这个数据有3个样本，对于状态初始化概率矩阵$\pi$，我们直觉上可以这样做：

以上的方法是很有道理的，背后的数学思想正是极大似然估计，经常用来解决概率估计问题。

别忘了，前面有两个归一性，所以有约束求极值。

注意，下面的公式是没有任何错误的。你自己可以同时动手，然后和这里对比一下，会发现下面的公式非常简洁优雅。

先求状态初始化概率矩阵

对状态初始化概率求偏导

令公式1偏导为0，本来可以算到$p(x)$，但是发现有一个$\lambda$，还没有算出来，所以：
对$\lambda$求偏导，然后令偏导为0或许可以解出$\lambda$。

解释一下第3句话，就是将公式4代入到公式3而已。
解释一下公式6的分母，其实这个求和的值就是D，D是样本的个数。

再求状态转移概率矩阵

对状态转移概率求偏导

类似地有：

对上面公式11的解释，其实这个是在统计所有样本中x出现的次数（严谨的说，应该加一个条件：如果x出现在一个状态序列的最后，那么不应该算进来）。

最终结果

参数估计示例