关于20210211-20210218的小结

本周简要总结一下自己的收获和遇到的问题:

收获：

01

PRE_TRAINED_MODEL_NAME = 'bert-base-cased'

tokenizer = BertTokenizer.from_pretrained(PRE_TRAINED_MODEL_NAME)

需要导入的bert预训练分词器模型，可以用来给文本分词。导入分词器后，依然代表BertTokenizer类。

02 

encoding = tokenizer.encode_plus(
  sample_txt,
  max_length=32,
  add_special_tokens=True, # Add '[CLS]' and '[SEP]'
  return_token_type_ids=False,
  pad_to_max_length=True,
  return_attention_mask=True,
  return_tensors='pt',  # Return PyTorch tensors
)

encoding.keys()

encoding是根据对文本做了转化操作，将文本转换为数值，限制文本最长字符数量为32，返回的是文本转换为encoding数值序列和encoding mask的torch类型。

03 DataLoader是下载已经存在的数据，可以按照将原有的数量分批为多个batch数量，依次返回。其中第一个参数data指的是获取数据的方法，要求该方法中必须有__len__()和__getitem__()方法。

04 

bert_model = BertModel.from_pretrained(PRE_TRAINED_MODEL_NAME)

为下载bert模型，其中内部返回的类还是BertModel

05 

bert_model(
      input_ids=input_ids,
      attention_mask=attention_mask
    )

是通过nn.module中的__call__方法，内部调用Bertmodel的forward()方法实现的，返回对应bert的分类表示和标注表示。

06 

optimizer = AdamW(model.parameters(), lr=2e-5, correct_bias=False)

用的是AdamW的梯度调优方法，看官方paper应该是分别可以学习learning_rate和衰减率weight decay,可以让模型的梯度优化更好。不过里面的具体实现方式，还是没有看懂。（参考文章:https://arxiv.org/abs/1711.05101）

遇到的问题:

在实现crosswoz场景化识别必要的意图和词槽的时候，咨询助教老师，可以通过正则匹配，但是防线自己设计的场景还是太简单了，总觉的很多地方需要改进，而且实现的方法也不太对，之后做一下修改。