2021年10月总结：小tips

1. pytorch 模型测试时显存超限
添加语句：with torch.no_grad():

2. top k 大的数的函数
a.topk()求a中的最大值或最小值，返回两个值，一个是a中的值（最大或最小），一个是这个值的索引。

top5num, top5indices = torch.tensor(upDown_count).topk(5, dim=1, largest=True)

3. 在进行自注意力时也可以加残差连接

注释掉的一行为残差连接

4. 使用numba库给循环加速

rom numba import jit

#在循环前加上这个语句
@jit(nopython=True)