Vision Transformer综述阅读(1)
Vision Transformer综述阅读主要内容提要正文主要内容提要根据极客平台 vision transformer综述所记录的学习心得。正文这一段用于Decoder中的Mask attention, 注意的点是使用masked_fill填充和使用dropout的位置图示: class ScaledDotProductAttention(nn.Module): ''' Scaled Dot-Product Attention ''' def __init__(se
原创
2021-02-02 10:33:59 ·
957 阅读 ·
0 评论