SwinTransformer中的q @ k运算是什么意思？

我们在阅读Swin Transformer的Python代码时，发现这么一个操作

        q, k, v = qkv[0], qkv[1], qkv[2] # query, key, value tensor
        q = q * self.scale
        attn = (q @ k.transpose(-2, -1))

很多同学对 a @ b 的运算比较陌生。
我们先看一个例子

import torch
x=torch.randn(12,3,10,20)
y=torch.randn(20,30)
z=x@y
print(z.shape)
# torch.Size([12, 3, 10, 30])

不难发现，实际上 x @ y 实现的功能就是
x@y=x.matmul(y)

Python官方文档还有更多的关于符号算子与函数运算的对应关系，见 Mapping Operators to Functions.