跟着李沐学Pytorch--序列模型（一）

最新推荐文章于 2024-09-02 21:23:01 发布

青芜堤上柳。

最新推荐文章于 2024-09-02 21:23:01 发布

阅读量856

点赞数 1

本文链接：https://blog.csdn.net/Fighting_22/article/details/123317073

版权

pytorch 深度学习机器学习

一、序列数据
在这里插入图片描述

二、统计工具
在时间t观察到xt，那么得到T个不独立的随机变量（x1 ~ xT）~ P(x)
（前后不受到影响，互相独立）
使用条件概率展开 p(a,b)=p(a)p(b|a)=p(b)p(a|b)

三、序列模型 在这里插入图片描述
正向：先得到X1，再推x2，x2是依赖于x1，同理，x3依赖于之前的x1,x2.
反向：（已知未来推过去）先得到xT,再反过来推。在物理层面上是不可行的，因为很多的理论是基于之前的理论。

四、自回归模型
自回归模型：给过去的数据，预测下一个数据
对条件概率建模
预测在这里插入图片描述
预测xt，对之前的xt-1个数据进行建模，也就是训练xt-1个数据，表示为f(x1,x2,…xt-1)
核心思想：怎么计算 P(xt | xt−1, . . . , x1)

4.1自回归模型（马尔科夫假设）
假设在现实情况下相当⻓的序列 xt−1, . . . , x1 可能是不必要的（如果数据很长要往前推很多，在很多时候太前的数据是没有太多的参考意义，并且会增加计算量）。
在这里插入图片描述
因此我们只需要满⾜某个⻓度为τ 的时间跨度，即使⽤观测序列 xt−1, . . . , xt−τ，只与τ个数据点相关，例如在过去的数据上训练一个MLP模型。