- 博客(2)
- 收藏
- 关注
RSS订阅原创 BERT论文解读
之前，基于预训练的自然语言处理任务包括两类：句子层面的任务，对句子情绪的识别，or 两个句子之间的关系；实体命名识别，需要细粒度的词元层面的输出；在使用预训练模型对下游任务进行特征表示，一般有两类策略：基于特征；代表作ELMo，对每个下游任务构造一个RNN；在预训练好的模型，它作为额外的特征一起输入到模型里。基于微调；代表作GPT，训练好的模型，对于下游任务的特定数据进行微调一下；但是，这两个都是单向的，不能做到告诉你上句话和下句话是啥，来猜中间的是啥；BERT（
2023-03-10 20:36:05
790
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人