Transformer可以直接使用完整的架构,也可以只使用编码器或解码器,这取决于你的目标是解决什么样的任务,下表对此进行了总结 ↓
Model | 涉及到哪些框架 | 任务类型 |
---|---|---|
Encoder部分 | ALBERT, BERT, DistilBERT, ELECTRA, RoBERTa | Sentence classification【句子分类】, named entity recognition【命名实体识别】, extractive question answering【抽取式问答】 |
Decoder部分 | CTRL, GPT, GPT-2, Transformer XL | Text generation【文本生成】 |
Encoder+Decoder | BART, T5, Marian, mBART | Summarization【摘要】, translation【翻译】, generative question answering【生成性问题回答】 |