主要作用 | 优点 | 缺点 | |
BERT | |||
BILSTM | |||
BIGRU |
BERT中demo:如图两个句子的分类任务(MNLI\QQP\QNLI\STS-B\MRPC\RTE\SWAG),单句的分类任务(SST-2\CoLA);问答任务(SQuAD v1.1);单句序列标注任务(CoNLL-2003 NER),Google在很多任务上都做了测试,显示出了较好的性能。(预训练机制、微调机制??)
一、BERT 原理初探
原文下载地址:https://arxiv.org/pdf/1810.04805.pdf
参考阅读笔记:https://zhuanlan.zhihu.com/p/46652512 ;https://www.jianshu.com/p/4cb1f255cd7c ;https://www.cnblogs.com/rucwxb/p/10277217.html
上下文相关 | 模型 | 预测目标 | 下游具体任务 |