在跟随 https://juejin.im/post/5b9f1af0e51d450e425eb32d 这篇文章搭建transformer的时候出现了报错:
Bool value of Tensor with more than one value is ambiguous
提示是在行:
if mask_attn
...
mask_attn是一个boolean矩阵,用来对query和key相乘之后对attention矩阵进行mask处理,在这个方法内部对默认值是None
解决方法,改为:
if mask is not None:
...