斯坦福开源Python库StanfordNLP,可处理53种人类语言

价格7
7
C站训练营学员

近期,斯坦福大学自然语言处理小组开发了一个Python库StanfordNLP,用于解决许多常见的自然语言处理问题,可以处理多达53种人类语言模型,便于数据科学家和Python开发人员使用。

语言

StanfordNLP提供了针对53种人类语言的预训练的深度学习模型,并使用PyTorch作为其机器学习的入门。

每种语言都有一个treebank,它是一个巨大的文本数据集,为语法结构/语义内容进行了可靠的注释。对于某些语言,库中提供了不只一个treebank。

如果你想要拥有自己的带注释的语料库(这种情况并不常见!),那么你可以基于语料库训练一个新的模型。

\"image\"

解析这句话!

范围

这个库提供下列服务:

  • 将给定的文本分成句子和单词(符号化)。符号化是指将一个文本(“The day of the groundhog attracts attention”)转换成七个单词的序列(“The”,“day”,“of”,“The”,“groundhog”,“caught”,“attention”)。

  • 为给定的单词指定一个基本形式(词形归并)。词形归并工具会将“attraction”、“attractive”和“attractive”与同一个词形(例如“attract”)联系起来。

  • 在一个句子中,把单词和词性联系起来。所以“day”是名词,“attract”是动词。

  • 单词有形态特征,如单数或现在进行时。这个库也会提供帮助。

  • 它还可以产生句子的句法结构。

  • 最后,StanfordNLP可以与名气更大、应用范围更广泛的Stanford CoreNLP进行整合。

在这篇文章中,我们将探讨符号化、词性和形态学特征。

\"image\"

StanfordNLP管道

管道

Vish (Ishaya) Abrams在文章中很好地解释了机器学习中的管道。为了这个目的,我们可以将库看作是一组组件的序列,这些组件的执行方式是,一个组件的输出是另一个组件的输入(一部分)。这种设计允许替换管道中的一个专用组件,同时保留其余组件。

考虑到文本在管道中流动,那么文本会经过不同步骤的处理。

在StanfordNLP中,管道与语言和treebank相关联。详细信息请看这里(https://stanfordnlp.github.io/stanfordnlp/pipeline.html),但你现在还不需要它们。StanfordNLP管道用于模型评估,而不是模型训练。

安装

在进行其他步骤之前,我们需要先安装这个库。Python 3.6或之后的版本可用。正如开发人员所解释的,安装StanfordNLP最简单的方法是使用pip:

pip install stanfordnlp

之后,下载我们想要使用的语言,例如:

import stanfordnlp
#You only download languages once
#Each language requires more that 1GB of disk space
#It takes time… have a coffee!
stanfordnlp.download(‘en’)
stanfordnlp.download(‘es’)
stanfordnlp.download(‘fr’)

接下来是在哪里存储下载的语言包。这一步我们建议使用缺省值。下载完成后,你可以检查每种语言都有一个对应的文件夹,其中保存了许多PyTorch模型,这些模型将用于我们将要介绍的各种NLP任务。

词性标注及其有用的原因

词性标注是复杂的NLP活动中的一项基本任务。想一下文本分类、情感分析或信息索引和检索。建立文本的基本语法结构为进一步的文本处理奠定了基础。

解析和标记一个句子

我们以下面的法语为例:

Si ce discours semble trop long pour être lu en une fois, on le pourra distinguer en six parties (René Descartes, Discourse on the method)

中文大意:如果这句话对于你来说太长了,不能一次读完,你可以把它分为六部分(雷内·笛卡尔,关于方法的言论)

但是别担心,我们会把这句话变得简短很多!让我们来分析笛卡尔的句子,评估一下每个单词在其中的作用。符号化和词性标注开始发挥作用。

import stanfordnlp# English is the default language, so you# just invoke stanfordnlp.Pipeline()# For Spanish you would call # stanfordnlp.Pipeline(lang=\u0026quot;es\u0026quot;, treebank=\u0026quot;es_ancora\u0026quot;)# This sets up a neural pipeline in Frenchnlp = stanfordnlp.Pipeline(lang=\u0026quot;fr\u0026quot;, treebank=\u0026quot;fr_gsd\u0026quot;)# a document is made of sentencesdoc = nlp(\u0026quot;Si ce discours semble trop long pour être lu en une fois, on le pourra distinguer en six parties\u0026quot;)# we pick our first and only sentenceonly_sentence = doc.sentences[0]# a sentence is made of words. # Each word is tagged with a part of speech (POS)# Good pythonic guys prefer list comprehensions over for loops!print(\u0026quot; \u0026quot;. join([\u0026quot;{} ({})\u0026quot;.format(word.text, word.upos) for word in only_sentence.words]))

在一些信息量丰富的消息之后,我们得到单词列表,每个单词都附在其相应的词性上:

Si (SCONJ) ce (DET) discours (NOUN) semble (VERB) trop (ADV) long (ADJ) pour (ADP) être (AUX) lu (VERB) en (ADP) une (DET) fois (NOUN) , (PUNCT) on (PRON) le (PRON) pourra (VERB) distinguer (VERB) en (ADP) six (NUM) parties (NOUN)

以上这些可以告诉我们,six是一个数字决定因素,而parties是一个名词。请注意,当lu被标识为动词时, être被标记为助动词。

StanfordNLP利用了语音集的通用部分,它的优点是适用于多种语言。但是,只要有treebank的支持,属性pos也会使用和显示语言的特定词性。其他NLP库(如spacy)也使用通用的和某种语言特有的语音集部分。

\"image\"

Chomsky的玩笑

处理一词多义

现在我们用这个库开个小玩笑。我们想知道这个英语句子的词性:

I book the book while you stand by the stand

在同一个句子中,不仅book和stand有两种不同的含义。它们也充当动词和名词。运行这句话的类似代码,我们会得到:

I (PRON) book (VERB) the (DET) book (NOUN) while (SCONJ) you (PRON) stand (VERB) by (ADP) the (DET) stand (NOUN)

我用这个简单的例子引起读者的注意力,它表明词性标记已经超出了在字典中查找单词,词的句法结构决定了词性。这就是伴随着库出现的学习模型在显示其作用。

形态学特征

除了通用形式和特定于语言形式的词性外,这个库中的单词分类里还带有单词的形态特征(请注意文档中可能出现的一个故障,该属性在文档中被称为ufeats)。

我们运行以下代码:

en_nlp = stanfordnlp.Pipeline()doc = en_nlp(\u0026quot;My taylor is drunk\u0026quot;) only_sentence = doc.sentences[0]print(\u0026quot; \u0026quot;. join([\u0026quot;{} ({} - {})\u0026quot;.format(word.text, word.upos, word.feats) for word in only_sentence.words]))

我们得到:

My (PRON - Number=Sing|Person=1|Poss=Yes|PronType=Prs)taylor (NOUN - Number=Sing) is (AUX - Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin) drunk (ADJ - Degree=Pos)

每个词都有自己的特点,但不只是名词和动词。要理解上述内容,可以查找此索引。例如,Degree=Pos意味着positive,一级。注意,drunk被定义为形容词,不是动词。

关闭

我想今天这些就够了。我们喜欢库,觉得使用它很舒服。当文档不足时,你可以查看源代码来帮助你理解。接下来,我们将完成对StanfordNLP提供的其他功能的理解。

更多信息:https://gitconnected.com/learn/python

原文链接:https://levelup.gitconnected.com/first-look-at-stanfordnlp-2b7d43190957

已标记关键词 清除标记
表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
03-02 177
实付 39.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值