LongNet复现

1.将代码文件拷贝到WSL

2.在vscode打开文件夹：

3.创建，激活虚拟环境：

(base) kanglee@DESKTOP-DQPSAC0:~/project/LongNet-master$ conda create --name LONGNET-MASTER python=3.8

(base) kanglee@DESKTOP-DQPSAC0:~/project/LongNet-master$ conda activate LONGNET-MASTER

4.配置环境：

pip install longnet -i https://pypi.tuna.tsinghua.edu.cn/simple --default-timeout=1000

5.选择环境：

6.训练：

运行train.py文件。

报错处理：

1.出现block(x) + x维度不统一导致无法想加报错。

解决办法：在膨胀注意力计算时，代码没有将输出维度与输入维度统一，修改这部分代码使其维度统一。

模型流程：