时间序列之标量上下文

最新推荐文章于 2024-06-25 00:19:59 发布

six.学长

最新推荐文章于 2024-06-25 00:19:59 发布

阅读量823

点赞数 28

分类专栏： informer 时间序列文章标签：深度学习长短时记忆网络

本文链接：https://blog.csdn.net/m0_51200050/article/details/139774917

版权

informer 同时被 2 个专栏收录

39 篇文章 0 订阅

订阅专栏

时间序列

7 篇文章 0 订阅

订阅专栏

输入向量中的 $\alpha u_{t}^{i}$ 部分代表的是将标量上下文投射到特征维度 d_model上的向量，乘以一个平衡因子 $\alpha$

详细解释

在这里插入图片描述

数学表示

在这里插入图片描述

具体例子

在这里插入图片描述

标量上下文投射：
对于时间步 (t = 2) 的第一个元素 (x₆ = 0.5)，通过一维卷积（假设卷积核和偏置如下）：
$\begin{bmatrix} 0.1 & 0.2 & 0.3 \\ 0.4 & 0.5 & 0.6 \\ 0.7 & 0.8 & 0.9 \\ 1.0 & 1.1 & 1.2 \\ \end{bmatrix}, \quad b = \begin{bmatrix} 0.1 \\ 0.2 \\ 0.3 \\ 0.4 \\ \end{bmatrix}$
计算投射向量 (u₆)：
$u_6 = W \cdot \begin{bmatrix} x_5 \\ x_6 \\ x_7 \end{bmatrix} + b$
假设 (x₅ = -0.5) 和 (x₇ = 1.0)，那么：
$u_6 = \begin{bmatrix} 0.1 & 0.2 & 0.3 \\ 0.4 & 0.5 & 0.6 \\ 0.7 & 0.8 & 0.9 \\ 1.0 & 1.1 & 1.2 \\ \end{bmatrix} \cdot \begin{bmatrix} -0.5 \\ 0.5 \\ 1.0 \end{bmatrix} + \begin{bmatrix} 0.1 \\ 0.2 \\ 0.3 \\ 0.4 \end{bmatrix}$

计算结果：
$u_6 = \begin{bmatrix} 0.1 \cdot -0.5 + 0.2 \cdot 0.5 + 0.3 \cdot 1.0 \\ 0.4 \cdot -0.5 + 0.5 \cdot 0.5 + 0.6 \cdot 1.0 \\ 0.7 \cdot -0.5 + 0.8 \cdot 0.5 + 0.9 \cdot 1.0 \\ 1.0 \cdot -0.5 + 1.1 \cdot 0.5 + 1.2 \cdot 1.0 \\ \end{bmatrix} + \begin{bmatrix} 0.1 \\ 0.2 \\ 0.3 \\ 0.4 \end{bmatrix}$

进一步计算：
$u_6 = \begin{bmatrix} -0.05 + 0.1 + 0.3 \\ -0.2 + 0.25 + 0.6 \\ -0.35 + 0.4 + 0.9 \\ -0.5 + 0.55 + 1.2 \\ \end{bmatrix} + \begin{bmatrix} 0.1 \\ 0.2 \\ 0.3 \\ 0.4 \end{bmatrix}$
$u_6 = \begin{bmatrix} 0.35 \\ 0.85 \\ 1.25 \\ 1.65 \\ \end{bmatrix} + \begin{bmatrix} 0.1 \\ 0.2 \\ 0.3 \\ 0.4 \end{bmatrix}$
$u_6 = \begin{bmatrix} 0.45 \\ 1.05 \\ 1.55 \\ 2.05 \\ \end{bmatrix}$
乘以平衡因子 $\alpha$ ：
$\alpha u_6 = 1 \cdot \begin{bmatrix} 0.45 \\ 1.05 \\ 1.55 \\ 2.05 \\ \end{bmatrix} = \begin{bmatrix} 0.45 \\ 1.05 \\ 1.55 \\ 2.05 \\ \end{bmatrix}$