- 博客(5)
- 收藏
- 关注
原创 BERT知识点
BERT是一种预训练语言模型,是基于Transformer encoder的双向编码器,本质是一个denoised auto encoding(去噪自动编码)模型,它能基于上下文得到文本的表示。它是一个两阶段模型,即预训练-微调。预训练任务包括MLM(掩码语言模型)和NSP。对于下游任务,只需要额外增加一些结构,并对模型进行微调。
2022-11-05 09:58:36
2019
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人