Vision Transformer综述阅读(1)
Vision Transformer综述阅读主要内容提要正文
主要内容
提要
根据极客平台 vision transformer综述所记录的学习心得。
正文
这一段用于Decoder中的Mask attention, 注意的点是使用masked_fill填充和使用dropout的位置
图示:
class ScaledDotProductAttention(nn.Module):
''' Scaled Dot-Product Attention '''
def __init__(se
原创
2021-02-02 10:33:59 ·
982 阅读 ·
0 评论