NLP-contextualized representations-task04

1 Word2Vec,Glove & Fastext

回顾之前内容,对于词如何转为数学表示,最基础的是词的编码,即one-hot编码,这样可以将词转为计算机可以处理的对象,但缺点是完全丢失了词本身的语意信息,只达到了区分效果,每个词之间互不相关。

作为改进,有了词嵌入算法,该算法可以看做词分类技术,将具有类似含义的词嵌入到相似的数学空间,这时词为一个一个向量,相似的词之间的余弦距离更小。代表的算法有基于预测模型的word2vec,Glove。
但对于这类算法,有两个特点,首先对于一个type,只有一个embedding,无法表示多个token。第二是无法解决OOV问题。

  • 修仙者:可以讲得更通俗易懂一点么?
  • NPC:好的(就等你这么问了,哈哈)

简单来说,就是对于拼写相同的词,该类算法只会产生一个向量,这样就无法表示不同的token(含义),也就是难以解决一词多义的问题。所以这类词嵌入算法,也叫做静态词嵌入。第二个就是无法解决没有出现在词库内词的识别问题。

对于第二个问题,研究者认为是嵌入的词粒度太大(词水平词嵌入),因此希望将词向量更细粒度分解,这样就产生了字符级词嵌入模型,子词模型,Fastext就是在word2vec上加入子词模型的混合模型。

在这里插入图片描述
那么一词多义要如何解决呢,这就产生了ELMO,BERT等模型

2 一词多义

对于一个单词,基于不同上下文,会产生不同的embedding,这就是大多数一词多义模型的原理。
如下图,mouse如果上下文出现computer,click等词,那么其应该为鼠标的意思,应该单独为一个embedding,如果出现moving,loving等词,那么大概率表示老鼠,需要单独生成一个embedding。这样,基于不同上下文动态生成embedding的方法,就可以解决一词多义问题。
目前有三种主流算法,ELMO,BERT和GPT。
在这里插入图片描述

2.1 ELMO

ELMO有两个部分,基于前文生成后一个单词(左边),基于后文,生成前一个词(右边)。这是基于语言模型的词嵌入方法。

  • 修仙者貌似有话想说,但还是把话咽了回去。
  • NPC:我知道你想问,什么是语言模型?其实就是基于前文,预测下一个词的算法,比于给出:锄禾日当,那么该算法会预测下一个词为:午。
  • 修仙者:额,其实我想说,芝麻街里全身红毛的玩偶,也叫ELMO。
    在这里插入图片描述
    在这里插入图片描述
    得到两个词向量,用哪一个呢?ELMO说,我全都要!
    在这里插入图片描述
    于是对于多个词向量,ELMO采取了加权和,而具体系数,需要在下游任务,也就是实际任务中学习得到。
    以下是不同任务中,两个词向量的比重对比。
    在这里插入图片描述

2.2 BERT

对于bert,则是利用transformers来代替RNN,更具体的来说,Bert是transformers的Encoder部分,而GPT是Decoder部分。
在这里插入图片描述

  • NPC:正如你所看到,Bert也是芝麻街中角色的名字。
  • 修仙者:我就知道这不是巧合!

2.3 GPT

GPT是OPEN AI开发的模型,因其体量巨大而出名,是的,就是字面那个意思。特别是GPT-2,有1542M,我很担心94M的ELMO会被它一脚踩死。

  • ELMO:大有大的好处,小有小的好处,说这个1542M的GPT-2你也就图一乐,别人不开源,要真正上线,你还得来咱们芝麻街。
  • NPC:。。。(扎心了)
    在这里插入图片描述
    如前所说,GPT是transformer的Decoder部分,GPT在没有进行训练的情况下(下游训练),可以完成很多神奇的任务,但鉴于开源程度,实际落地还是以BERT为多。
    在这里插入图片描述

3 小结

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 自然语言处理(Natural Language Processing,简称NLP)是计算机科学与人工智能领域的一个重要研究方向,目的是让计算机能够理解、处理和生成人类的自然语言。NLP-100例是一份经典的NLP问题集合,包含了各种与自然语言处理相关的问题和挑战。 这份NLP-100例涵盖了从基础的文本处理到更高级的自然语言理解和生成的问题。例如,其中包括了文本预处理、词频统计、语法分析、词性标注、实体识别、情感分析、机器翻译等任务。 NLP-100例的目的是帮助研究者和开发者更好地理解NLP领域的核心问题和技术,同时提供一些典型的案例和数据集供实践和研究使用。通过完成这些例题,可以锻炼自己在NLP领域的能力和技术,提高对自然语言的处理和理解能力。 此外,NLP-100例也为研究者提供了一个可以与其他人交流和探讨的平台。研究者可以使用相同的数据集和问题进行实验和评估,从而更好地了解NLP技术的优劣和进展。 总之,NLP-100例是一个对NLP进行实践和研究的重要资源。通过解决这些例题,可以深入理解自然语言处理的基础和技术,掌握各种NLP任务的方法和技巧。同时,它也是一个促进交流和合作的平台,为NLP研究者提供了一个共同的基础和语言。 ### 回答2: 自然语言处理(Natural Language Processing,简称NLP)是研究计算机与人类自然语言之间的交互的一门学科。NLP-100例指的是日本的一个NLP入门教程,包含了100个常见的NLP问题和对应的解答。 NLP-100例涵盖了从文本处理到语义理解等多个方面的问题。其中,一些例子包括:文本的分词、词性标注、句法分析、语义角色标注和文本分类等。 以分词为例,分词是将一段连续的文本分割成词语的过程。在NLP-100例中,可以通过使用Python中的分词工具NLTK(Natural Language Toolkit)来实现分词功能。 另外,对于文本的词性标注,NLP-100例提供了使用POS(Part-Of-Speech)标记对文本中的每个词进行词性标注的方法。可以使用NLTK提供的POS标注工具来实现。 此外,NLP-100例还包括了语义角色标注的问题,语义角色标注是为了确定句子中的谓语动词所承担的语义角色,如施事者、受事者、时间等。可以使用Stanford CoreNLP工具包来实现语义角色标注。 最后,NLP-100例还介绍了文本分类的问题,文本分类是将文本划分到预定义的类别中。可以使用机器学习算法,如朴素贝叶斯或支持向量机(SVM)等来进行文本分类。 通过学习NLP-100例,我们可以了解到自然语言处理的基本方法和技术,并且可以利用这些技术来解决相关的自然语言处理问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值