13 循环神经网络—序列模型，语言模型

1.序列模型

序列数据

• 实际中很多数据是有时序结构的
• 电影的评价随时间变化而变化
  • 锚定（anchoring）效应：拿奖后评分上升，直到奖项被忘记
  • 享乐适应（hedonic adaption）：看了很多好电影后，人民的期望会变高
  • 季节性：贺岁片，暑期档
  • 导演，演员的负面新闻导致评分变低
• 音乐，语言，文本和视频都是连续的
  • 标题“狗咬人”远没有“人咬狗”那么惊讶
• 大地震发生后，很可能会有几次较小的余震
• 人的互动是连续的，从网上吵架可以看出
• 预测明天的股价要比填补昨天遗失的股价的困难

统计工具

**不独立的随机变量：**变量之间存在某种关联（在此之前都是假设独立的随机变量，变量之间是没有关联的）

• 黄色表示从 x1 一直到 xT 的方向（xi 的概率依赖于 x1,…,x(i-1) 的概率,i >= 2 ）,也就是说如果想要知道一个时序序列 T 时刻发生的事情，则需要知道在 T 时刻之前所有时刻发生的事