一步一步理解大模型：查询序列和键序列

在Transformer中，查询序列（query sequence）和键序列（key sequence）是指通过注意力机制（attention mechanism）计算得出的注意力分布所依据的输入序列。

在transformer中的self-attention计算中，查询序列、键序列和值序列都是通过相同的输入序列计算得到的。

这里是一个使用 PyTorch 实现的例子，演示了如何使用 self-attention 计算相同输入序列的查询序列、键序列和值序列：

import torch
import torch.nn as nn

class SelfAttention(nn.Module):
    def __init__(self, d_model, n_head):
        super(SelfAttention, self).__init__()
        self.d_model = d_model
        self.n_head = n_head
        self.d_k = d_model // n_head

        # 初始化查询（query）、键（key）和值（value）矩阵
        self.w_q = nn.Linear(d_model, d_model)
        self.w_k = nn.Linear(d_model, d_model)
        self.w_v = nn.Linear(d_model, d_model)

    def forward(self, x):
        batch_size = x.size(0)

        # 将输入进行查询、键