lstm 加多头注意力MultiHeadAttention

目录

价值千金，懂的自然懂

CVPR2022 场景分割用到了lstm：

注意力机制

线性变换

---

价值千金，懂的自然懂

CVPR2022 场景分割用到了lstm：

场景切割CVPr2022 SceneSegmentation-CSDN博客

注意力机制

qxk的转置，结果和v进行矩阵相乘，给v做个线性变换

线性变换

包括旋转，平移，缩放

2023.1210 MultiHeadAttention放在后面效果更好。

2023.1211： MultiHeadAttention头和尾各加一个，效果又有改善

分类的激活函数relu6比gelu效果更好。

import os
import time
from typing import Dict, Iterable, Optional
from torch import nn, Tensor
from torch.nn import Linear

import torch.nn.