小白学习深度学习之（六）——序列模型

在实际中，有很多数据是有时序结构的
·电影的评价随着时间变化而变化
··拿奖后评分上升，直到奖项被忘记
··看了很多好电影后，人们的期望值变高
··季节性：贺岁片、暑期档
··导演、演员的负面报道导致评分变低

一些序列数据的例子

音乐、语言、文本和视频都是连续的
大地震发生后，很可能会有几次较小的余震
人的互动是连续的，从网上吵架可以看出
预测明天的股价要比弥补昨天遗失的股价更难，尽管两者都只是估计一个数字。 毕竟，先见之明比事后诸葛亮难得多。 在统计学中，前者（对超出已知观测范围进行预测）称为外推法（extrapolation）， 而后者（在现有观测值之间进行估计）称为内插法（interpolation）。

统计工具

在时间t观察到xt，那么得到T个不独立的随机变量（x1，。。。xT) ~p(x)
用条件概率展开
对序列进行建模
$$x_t\sim P(x_t\mid x_{t-1},\dots ,x_1).$$

自回归模型

自回归：通过自身之前的数据来进行回归，而不用其余的数据进行。对见过的数据模型

马尔科夫假设

假设当前数据只跟𝜏个过去的数据点相关
回想一下，在自回归模型的近似法中， 我们使用 𝑥𝑡−1,…,𝑥𝑡−𝜏 而不是 𝑥𝑡−1,…,𝑥1 来估计 𝑥𝑡 。 只要这种是近似精确的，我们就说序列满足马尔可夫条件（Markov condition）。

潜变量模型

引入潜变量ht来表示过去的信息，ht可以通过h和x来计算，x也可以通过h和x来计算

总结

时序模型中，当前数据跟之前观察到的数据相关
自回归模型使用自身过去数据来预测未来
马尔科夫模型假设当前只跟最近少数数据相关，从而简化模型
潜变量模型使用潜变量来概括历史信息