![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
木木KO
这个作者很懒,什么都没留下…
展开
-
NLP系列文章(四)——ELMO
接文章《NLP系列文章(一)——按照学习思路整理发展史》《NLP系列文章(二)——NLP领域任务分类、NNLM语言模型》《NLP系列文章(三)——word embedding》继续讲述NLP预训练的那些事ELMO是“Embedding from Language Models”的简称,论文《Deep contextualized word representation》。在此之前的Word Embedding本质上是个静态的方式,也就是训练好后单词的表达固定不变,在新任务使用的时候,不论新句子上.原创 2020-08-11 21:10:16 · 854 阅读 · 0 评论 -
NLP系列文章(五)——发展历程中的GPT、BERT
接文章《NLP系列文章(一)——按照学习思路整理发展史》《NLP系列文章(二)——NLP领域任务分类、NNLM语言模型》《NLP系列文章(三)——word embedding》继续讲述NLP预训练的那些事ELMO是“Embedding from Language Models”的简称,论文《Deep contextualized word representation》。在此之前的Word Embedding本质上是个静态的方式,也就是训练好后单词的表达固定不变,在新任务使用的时候,不论新句子上.原创 2020-08-12 11:42:34 · 2182 阅读 · 0 评论 -
NLP系列文章(三)——word embedding
word embedding在互联网中,每天都海量的文本信息。而NLP就是使用计算机处理自然语言的过程。众所周知,computer只能处理数值,因此自然语言需要以一定的形式转化为数值,以供computer处理。word embedding就是将词语(word)映射为数值的方式。使用单个实数表示所能包含的信息太少,所以一般将word映射为一个数值向量或者tensor。那么问题来了,①如何才能把word转换为数值向量?②如何在转换过程中保留自然语言本身所蕴含的语义和句法等抽象的特征?这很重要!!如果原创 2020-08-10 15:12:58 · 976 阅读 · 0 评论 -
NLP系列文章(二)——NLP领域任务分类、NNLM语言模型
接上篇文章《NLP系列文章(一)——按照学习思路整理发展史》继续讲述NLP预训练的那些事1、NLP领域任务分类通常,NLP问题可以划分为四类任务:序列标注、分类任务、句子关系判断、生成式任务。序列标注:典型的NLP任务,比如分词、词性标注、命名体识别、语义角色标注……,序列标注任务的特点是句子中每个单词都要求模型根据上下文给出一个分类类别。分类任务:比如文本分类、情感计算……,分类任务的特点是不管文章长度,总体上能给出一个分类类别。句子关系判断:比如蕴含(entailment)、QA、语义.原创 2020-08-10 14:45:33 · 2066 阅读 · 0 评论 -
NLP系列文章(一)——按照学习思路整理发展史
来源:知乎 LITD《bert发展史……》系列、知乎paperweekly 《NLP的巨人肩膀》、知乎 张俊林《bert时代的创新(应用篇)》 0. 缘由个人还是比较喜欢语言方面的研究,但是研究生期间存在在诸多意外,研究课题一直难以确定,在人工智能的大流中摸爬打滚,秉承实验室前辈的理念,一年来找文献、看文献、翻译文献……总之,一直徘徊在 换研究方向→学新领域入门→看某个模型或算法的文献【英文】→翻译文献→看配套源码→尝试跑通→然后 ...原创 2020-08-10 14:35:56 · 359 阅读 · 0 评论