自然语言处理
文章平均质量分 86
捡起一束光
某985本硕,热爱分享推荐系统、自然语言处理等优质内容的算法工程师
展开
-
浅谈NLP新范式:Prompt Learning模板学习
为了解决上下游任务不一致的问题,研究者就想尽了各种办法。假定我们在不能改变预训练模型的情况下,上游任务有MASK token,上游任务又不能变(因为重新训练大规模模型代价太大),那我们在下游任务中添加MASK token不就好了嘛,这就是Prompt的一种用法。原创 2022-10-09 10:31:21 · 895 阅读 · 0 评论 -
【NAACL 2019预训练论文解读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
简介:Transformer主要用在机器翻译这个小的领域上。BERT可以针对一般的语言理解任务。之前CV里面有预训练的CNN模型,那BERT出现后使得NLP也有了预训练模型。原创 2022-10-09 10:11:47 · 535 阅读 · 0 评论 -
NLP漫谈系列:BERT预训练模型的原理真的很难理解吗
BERT的目的是预训练Transformer模型的Encoder网络,从而大幅提高准确率。经过BERT预训练后的Encoder网络相当于有了一组比较好的初始化参数,已经能体现出单词之间的相关性了。原创 2021-12-19 11:33:06 · 1747 阅读 · 0 评论