Prompt-Learning
Prompt Learning(提示学习)是指对输入文本信息按照特定模板进行处理,把任务重构成一个更能充分利用预训练语言模型处理的形式。Prompting使得预训练模型和下游任务之间更加接近,这一点儿与fine-tuning不同,fine-tuning是使用预训练模型做下游任务,prompt learning是各种下游任务适应预训练模型,根据不同的预训练模型重构下游任务。
不同的prompt learning学习任务
这里重点介绍基于清华大学公开的openprompt框架进行文本分类学习以及重点介绍几个api的学习理解。
prompt learning包括Template,Verbalizer,PromptModel等。prompt learning将不同的nlp任务转化为文本分类问题,但是和之前的bert finetuning的文本分类不一致。例如:
文本分类:
输入:看这个娱乐节目不停的笑
输出:正面或者负面
prompt learning下的文本分类,预测mask位置处的词,向完形填空
输入:看这个娱乐节目不停的笑,这个节目是一个mask的节目
输出:有趣的或者无聊的
ManualTemplate
template_text = ‘{“placeholder”:“text_a”},该句子的意图是:{“mask”}。’
prompt 的template 经过ManualTemplate后会生成一个text,类型为list,
[{‘add_prefix_space’: ‘’, ‘placeholder’: ‘text_a’}, {‘add_prefix_space’: ‘’, ‘text’: ‘,该句子的意图是:’}, {‘add_prefix_space’: ‘’, ‘mask’: None},
{‘add_prefix_space’: ‘’, ‘text’: ‘。’}]
输入的句子‘股票想变成标的证券要达到的条件很高吧’在模板下的text表示如下
‘text’的value为 [‘股票想变成标的证券要达到的条件很高吧’, ‘,该句子的意图是:’, ‘’, ‘。’]
loss_ids:是标记mask的位置,[0,0,1,0]
shortenable: 1是input token,0是squence token,1是标记的placeholder或者shortenable的位置
在tokenizer中的对Template下的text的值进行tokenizer encoder,并在模版的开始和结束位置这两个特殊符号,例如bert预训练模型的特殊符号为cls和sep
loss_ids中的值根据tokenizer encoder的length进行扩充,1是表示mask的位置,加入的特殊编码对应的值为–100,这里默认是-100
备注:
1.在tokenizer的过程中把shortenable_ids这个内容项删掉了;loss_ids在后面的ManualVerbalize中计算label的概率会使用到,即预测mask的词的概率
2.常用的template有:
sentence1 It was [MASK].
sentence1 ? [MASK], sentence2
sentence1 . [MASK], sentence2
sentence1 sentence2 [MASK]
sentence2 ? [MASK], sentence1
ManualVerbalizer
这个是对label的扩展相近的词或者字进行编码,tokenizer分别对这些扩展字词进行tokenizer,统计tokenizer后的每个字词的最大个数,以及每一个标准问扩展词的tokenizer的最大长度,从而确定了扩展字词的矩阵大小,这里是对label进行扩充,在模型分类中会使用这个矩阵,这里是与之前的fine tuning分类有区别的。
例如标准问的扩展字词为[’ 支持’, ’ T’, ’ 类’, ’ 基’, ’ T0’, ’ 种类’, ’ 0’, ’ 申’, ’ 种’, ’ 持’, ’ 赎’, ’ 基金’, ’ 金’, ’ 支’],其中确定的每个词的最大长度为4,扩展词的最大长度为32,得到的padding结果为[[3118, 2898, 0, 0], [100, 0, 0, 0], [5102, 0, 0, 0], [1825, 0, 0, 0], [100, 0, 0, 0], [4905, 5102, 0, 0], [121, 0, 0, 0], [4509, 0, 0, 0], [4905, 0, 0, 0], [2898, 0, 0, 0], [6604, 0, 0, 0], [1825, 7032, 0, 0], [7032, 0, 0, 0], [3118, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0]],
mask 矩阵为[[1, 1, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 1, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 1, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0]]
label扩展矩阵的mask矩阵[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
这里边把字词的编码,mask,整个label的mask都作为了参数,tensor shape为[batch_size, 扩展词的最大长度, 每个词的最大长度],
- 对BertForMaskedLM中的logtis进行计算[batch_size, max_seq_len, vocab_size],
- 根据句子中mask的个数,得到mask位置处word的logits,如果只有一个mask,得到的shape为[batch_size,vocab_szie],如果是多个mask,得到的mask位置的logits为[batch_size,mask个数,vocab_size],这里maks的个数为1
- 将mask的vocab 概率转化为label扩展词的logits[batch_size, label_num,扩展词的最大长度, 每个词的最大长度],然后根据label的扩展词的mask矩阵在每个词的最大长度这一个维度上进行计算,得到[batch_size, label_num, 扩展词的最大长度],
进行softmax得到概率[batch_size, label_num, 扩展词的最大长度],再取log得到logtis(这个logits可以理解为对label的扩展词的logits) - 聚合得到label的logits,根据label扩展词的mask矩阵得到每一个label的logits[batch_size, label_num]
这里预测mask词是label中扩展词,从而得到label,从预训练模型预测mask位置是vocab,转化为预测label扩展词,从而得倒label,这个是与直接分类的区别,这里使用的是mlm的方式
备注:
- 这里面使用的是transformers中的BertForMaskedLM,不是BertModel,增加了wrapper,使用的是MLMTokenizerWrapper,BertForMaskedLM是预测mask掉的词是单词表中的哪一个词,logits的shape为[batch_size, seq_len, vocab_size]
- 这里的mask位置是从模板得到的,并不是每一个样本进行随机mask
- 不同的template和不用的label扩展词方式,对模型效果有影响
笔者最近在学习prompt learning,如有理解错误的地方,请指正,谢谢