关于mask的一些操作

关于mask的一些操作

本文库环境：

• pytorch 1.6.0
• transformers库

博主是一个刚刚开始做科研的科研菜鸡，在我目前的印象里，把mask用火的就是Bert了，现在的NLP task也多基于Bert系列的embedding，当我们进行具体工作时，如果想要对Bert的embedding进行进一步的妙用，就很容易接触到自己mask一些embedding了。
除了mask，我们还有可能需要自己添加一些特殊的token。注意：如果添加的token频繁出现，可能就不是简单的fine-tuning能取得好效果的了。关于如何给Bert的词汇表添加特殊的token，可以参考博主的这篇文章

接下来介绍一些博主目前用过看过的mask的总结(日后持续更新):

获取mask掩码遮住padding部分

比如我生成了一波tensor代表word embedding，设paddding符合的idx为0，我们想要在实际引用中将idx为0的单词遮住，这时候就需要一个mask，我们这里生成一个mask，mask是个tensor，和question_wids形状相同，在不需要遮住的地方值为1，需要遮住的地方值为0

import torch
wemb_vocab_size = 5000
q_max_len = 50
batch_size = 32
question_lengths = torch.LongTensor(batch_size).random_(1, q_max_len).cuda()
question_wids = torch.zeros(batch_size, q_max_len).long().cuda()
for i in range(batch_size):
    question_wids[i, 0:question_lengths[i]] = \
        torch.LongTensor(1, question_lengths[i]).random_(
            1, wemb_vocab_size)
mask = (torch.ones_like(question_wids) *
         0 != question_wids).float().cuda()