NLP
我爱py数据分析
这个作者很懒,什么都没留下…
展开
-
Datawhale组队学习之NLP组第四天
Datawhale组队学习之NLP组第四天ELOM模型GPT模型BERT模型参考文献与说明:今天的博客主要介绍三个模型, ELMO,GPT与BERT模型。ELOM模型ELOM 模型是一个动态的模型,利用语言模型来获得一个上下文相关的预训练表示,称为ELMo。它使用的是一个双向的LSTM语言模型,由一个前向和一个后向语言模型构成,目标函数就是取这两个方向语言模型的最大似然。关于前向概率和后向概率请看两张图。ELOM模型的使用主要有以下三步:1)在大的语料库上预训练 biLM 模型。模型由两层bi原创 2020-07-03 22:00:38 · 254 阅读 · 0 评论 -
Datawhale组队学习之NLP组第三天 N-gram
Datawhale组队学习之NLP组第三天 N-gramword2vec 和 glove的区别:N-gram思想:FastText 模型:参考资料:本篇博客主要介绍三个部分,1、word2vec 和 glove的区别2、介绍 n-gram 思想3、介绍 FastText 模型word2vec 和 glove的区别:两者最直观的区别在于,word2vec是“predictive”的模型,而GloVe是“count-based”的模型。不采用 negative sampling 的word2vec原创 2020-06-30 23:08:00 · 342 阅读 · 0 评论 -
Datawhale组队学习之NLP组第二天 Glove
Datawhale组队学习之NLP组第二天 GloveSkip-grams 与 CBOWCBOW:Skip-gramGlove参考文献与说明:今天是Datawhale组队学习的第二天,本博客主要介绍三个方面的内容,分别是 Skip-grams(SG) , Continuous Bag of Words (CBOW) , Glove。当然,在斯坦福CS224N 的此次课程中,教授还提到了很多别的知识,如梯度下降,学习率alpha,奇异值分解(SVD),这些内容因为教授也是一带而过,且较为容易,所以此处就不原创 2020-06-26 19:47:45 · 270 阅读 · 0 评论