weixin_43469122的博客

原创 BERT入门体验

一、BERT论文 BERT是最近比较流行的预训练模型，目前很多的模型都是基于bert和bert的变体上的，可以点击BERT获取论文。网上对论文的解读有很多，我就不过多赘述了。可以自己直接百度 " bert论文笔记 “ 。 如果看了论文，我们可以看到BERT的三种编码：1）Token Embeddings 2）Segment Embedding 3）Position Embedding，以及两个任务：1）Masked Language Model 2）Masked Language Model 。那么BERT