加上attention mask之后loss出现nan问题的解决方案

loss为nan的解决方法

  由于最近在用transformerencoder写模型，途中遇见蛮多小细节还有错误，整理在这里，后续看情况补充~~

一、先查看哪一步出现了nan

  loos为nan，就一步步print（print大法妙啊）。
  基本上也就是把input、output的内容打印一遍。比较快就可以确定是哪里出了问题。还不行就把模型内部一层层的输出打印出来。

二、为什么会出现nan

  我的问题在于给TransformerEncoder加了attention mask之后，output就不正常了。基本可以确定就是mask的问题。看到有人说attention mask不能出现一整行都是True（非0）的情况，这个比较好理解，因为在MultiheadAttention当中，mask的作用是在得到attention score之后给对应位置加上”-inf“，如果一整行都是无限小，一过softmax就变成nan。

三、解决方法

  步骤1： 把MultiheadAttention最后加上”-inf“改成”-1e10“。保证这个数极小但不是无穷小。
  步骤2： 得到输出之后，将仍然为nan的值替换掉。具体替换成什么数值根据各自的任务而定。我这里选择替换成0，换成其他数值的话只需要修改torch.full_like(x,0)当中的0。

x=torch.where(torch.isnan(x),torch.full_like(x,0),x)