蓝天白云梦的csdn博客

简介本文来讲述BERT应用的一个例子，采用预训练好的BERT模型来进行演示。BERT的库来源于Transformers，这是一个由PyTorch编写的库，其集成了多个NLP领域SOTA的模型，比如bert、gpt-2、transformer xl等，并且可以自由选择已经预训练好的模型参数，我们可以基于这些参数进行进一步的训练调试。Part 1: 利用BERT基于特征的方式进行建模1、任务与数...

简介词向量技术，也称为词嵌入技术(word-embedding)，是一种将高维稀疏的向量压缩到低维稠密向量的技术。常见于自然语言处理领域对单词的预处理过程，例如将单词的one-hot向量是高维稀疏的，不但占用大量空间，而且向量之间提供的信息很少。但经过词嵌入技术生成的向量，不但是低维的并且包含了很多词语间的语义、语法的信息。因此在NLP中，往往会先针对语料生成相应的词向量，然后再把词向量喂入具体...