nlp中mask(掩码)操作总结--解决语句输入长短不一问题

注：看了许多种任务，机器翻译，实体命名识别，对话系统。有趣的是虽然网络结构都大同小异基本上都是seq2seq，但是里面的语句处理部分每位作者真是—八仙过海各显神通【其实算法思想都差不多，只不过调用的函数五花八门】

对流程熟悉的人应该都了解在整个训练过程中为了提高速度，都会采用mini_batch。随之而来的问题
便是一个batch中的句子不可能长度都相等，这样就给数据的规范化带来了不便，这是便需要掩码操作了【生成binary matrix】，这里提供三种方法…【使用torch】

1

import torch
from torch.autograd import Variable

def sequence_mask(sequence_length, max_len=None):   # sequence_length :(batch_size, )
    if max_len is None:
        max_len = sequence_length.data.max()        # 找出最长的句子 
    batch_size = sequence_length.size(0)            # 得到batch_size 
    seq_range = torch.arange(0, max_len).long()
    seq_range_expand = seq_range.unsqueeze(0).expand(batch_size, max_len)
    seq_range_expand = Variable(seq_range_expand)
    if sequence_length.is_cuda:
        seq_range_expand = seq_range_expand.cuda()
    seq_length_expand = (sequence_length.unsqueez