![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 93
扣德夫特
这个作者很懒,什么都没留下…
展开
-
transformers BERT等模型在自己的数据集上fine-tune方法
Intro BERT等预训练语言模型能力很强,但官方发布的模型在预训练时用的语料并不一定与你具体任务的语料相似,因此可能造成具体任务上的效果一般。这时候,将预训练语言模型在你自己的语料上再次fine-tune(Masked Language Model等任务),能够进一步提升效果。本文将介绍fine-tune的基本方法。 本文针对PyTorch的库transformers的模型。 方法 Transformers官方很贴心的提供了代码,只要运行就行了。代码和说明在这里(https://github.com/h原创 2020-12-27 20:17:22 · 2088 阅读 · 2 评论 -
新版gensim Word2Vec使用指南
前言 最近两天在学习Word2Vec这个算法,它是NLP领域中非常常用的基础算法,它的作用就是将语料库中的词转化为向量,以便后续在词向量的基础上进行各种计算。这个算法的讲解可以从网络上很容易搜索到,这里就不赘述。 Word2Vec算法已经被实现和封装在Python库gensim中,可以很简单的调用。然而在这两天的尝试中,我发现由于gensim的API发生了变化,很多博客的内容已经不能使用,而且他们...原创 2018-12-19 15:03:11 · 6615 阅读 · 10 评论