时间序列中的自注意力机制 (Self-Attention Mechanism) 详细解释及举例

six.学长

于 2024-06-12 17:01:01 发布

阅读量603

点赞数 6

分类专栏： informer 文章标签：人工智能

本文链接：https://blog.csdn.net/m0_51200050/article/details/139631439

版权

informer 专栏收录该内容

39 篇文章 0 订阅

订阅专栏

时间序列中的自注意力机制 (Self-Attention Mechanism) 详细解释及举例

自注意力机制在时间序列处理中非常有用，因为它能够捕捉序列中各时间步之间的相关性，从而有效地处理长程依赖关系。下面是自注意力机制的详细工作原理以及在时间序列中的应用举例。

工作原理

1. 输入向量变换为查询、键和值矩阵

在这里插入图片描述

2. 计算注意力得分

在这里插入图片描述

3. 计算加权值

在这里插入图片描述

举例说明

假设我们有一个简单的时间序列数据，表示某个传感器在不同时间步的测量值。我们要通过自注意力机制捕捉各时间步之间的相关性。

输入数据

在这里插入图片描述

1. 生成查询、键和值矩阵

在这里插入图片描述

2. 计算注意力得分

在这里插入图片描述

3. 计算加权值

在这里插入图片描述

具体代码实现

下面是一个具体的Python代码示例，展示如何在时间序列中实现自注意力机制：

import numpy as np

def softmax(x):
    e_x = np.exp(x - np.max(x, axis=-1, keepdims=True))
    return e_x / np.sum(e_x, axis=-1, keepdims=True)

# 输入时间序列
X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]])

# 权重矩阵
WQ = np.array([[0.1, 0.2, 0.3], [0.4, 0.5, 0.6], [0.7, 0.8, 0.9]])
WK = WQ
WV = WQ

# 生成查询、键和值矩阵
Q = np.dot(X, WQ)
K = np.dot(X, WK)
V = np.dot(X, WV)

# 计算注意力得分
d_k = Q.shape[-1]
attention_scores = np.dot(Q, K.T) / np.sqrt(d_k)
attention_weights = softmax(attention_scores)

# 计算加权值
output = np.dot(attention_weights, V)

print("Attention Scores:\n", attention_scores)
print("Attention Weights:\n", attention_weights)
print("Output:\n", output)

输出解释

Attention Scores:
 [[  5.2   11.96  18.72  25.48]
 [ 11.96  27.64  43.32  59.  ]
 [ 18.72  43.32  67.92  92.52]
 [ 25.48  59.    92.52 126.04]]
Attention Weights:
 [[1.67628027e-09 3.90648611e-07 9.09018346e-06 9.99990400e-01]
 [1.20928373e-10 7.23628937e-08 4.33137430e-05 9.99956656e-01]
 [8.72405329e-12 1.34030205e-08 2.06348906e-04 9.99793517e-01]
 [6.26893334e-13 2.48238520e-09 9.83799324e-04 9.99016200e-01]]
Output:
 [[ 13.