[Python开发] python使用nltk进行Chart Parsing

最新推荐文章于 2023-08-07 15:20:40 发布
最新推荐文章于 2023-08-07 15:20:40 发布
阅读量2.9k 收藏 4
点赞数
分类专栏： Python开发 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiJiancheng0614/article/details/49583599
版权

python用自然语言处理工具nltk（Natural Language Toolkit, http://www.nltk.org/ ）完成计算语言学中的Chart Parsing。

安装

  1. 使用pip安装
    http://www.nltk.org/install.html

    pip install nltk

    或下载安装包安装（ http://pypi.python.org/pypi/nltk ）

    python setup.py install

  2. 需要安装NLTK Data（ http://www.nltk.org/data.html ）。在python中输入以下代码：

    import nltk
nltk.download()

Chart Parsing

demo - chart parser

tree

Parse a sentence John ate the cat

import nltk

grammar = nltk.CFG.fromstring("""
    S -> NP VP
    VP -> V NP | V
    NP -> NAME | ART N
    NAME -> 'John'
    V -> 'ate'
    ART -> 'the'
    N -> 'cat'
    """)

tokens = ['John', 'ate', 'the', 'cat']

parser = nltk.ChartParser(grammar, trace=1)
for tree in parser.parse(tokens):
    print(tree)
    tree.draw()

parser = nltk.parse.chart.BottomUpChartParser(grammar, trace=1)
for tree in parser.parse(tokens):
    print(tree)

parser = nltk.parse.earleychart.EarleyChartParser(grammar, trace=1)
for tree in parser.parse(tokens):
    print(tree)
output
|.   John  .   ate   .   the   .   cat   .|
|[---------]         .         .         .| [0:1] 'John'
|.         [---------]         .         .| [1:2] 'ate'
|.         .         [---------]         .| [2:3] 'the'
|.         .         .         [---------]| [3:4] 'cat'
|[---------]         .         .         .| [0:1] NAME -> 'John' *
|[---------]         .         .         .| [0:1] NP -> NAME *
|[--------->         .         .         .| [0:1] S  -> NP * VP
|.         [---------]         .         .| [1:2] V  -> 'ate' *
|.         [--------->         .         .| [1:2] VP -> V * NP
|.         [---------]         .         .| [1:2] VP -> V *
|[-------------------]         .         .| [0:2] S  -> NP VP *
|.         .         [---------]         .| [2:3] ART -> 'the' *
|.         .         [--------->         .| [2:3] NP -> ART * N
|.         .         .         [---------]| [3:4] N  -> 'cat' *
|.         .         [-------------------]| [2:4] NP -> ART N *
|.         .         [------------------->| [2:4] S  -> NP * VP
|.         [-----------------------------]| [1:4] VP -> V NP *
|[=======================================]| [0:4] S  -> NP VP *
(S (NP (NAME John)) (VP (V ate) (NP (ART the) (N cat))))

|.   John  .   ate   .   the   .   cat   .|
|[---------]         .         .         .| [0:1] 'John'
|.         [---------]         .         .| [1:2] 'ate'
|.         .         [---------]         .| [2:3] 'the'
|.         .         .         [---------]| [3:4] 'cat'
|>         .         .         .         .| [0:0] NAME -> * 'John'
|[---------]         .         .         .| [0:1] NAME -> 'John' *
|>         .         .         .         .| [0:0] NP -> * NAME
|[---------]         .         .         .| [0:1] NP -> NAME *
|>         .         .         .         .| [0:0] S  -> * NP VP
|[--------->         .         .         .| [0:1] S  -> NP * VP
|.         >         .         .         .| [1:1] V  -> * 'ate'
|.         [---------]         .         .| [1:2] V  -> 'ate' *
|.         >         .         .         .| [1:1] VP -> * V NP
|.         >         .         .         .| [1:1] VP -> * V
|.         [--------->         .         .| [1:2] VP -> V * NP
|.         [---------]         .         .| [1:2] VP -> V *
|[-------------------]         .         .| [0:2] S  -> NP VP *
|.         .         >         .         .| [2:2] ART -> * 'the'
|.         .         [---------]         .| [2:3] ART -> 'the' *
|.         .         >         .         .| [2:2] NP -> * ART N
|.         .         [--------->         .| [2:3] NP -> ART * N
|.         .         .         >         .| [3:3] N  -> * 'cat'
|.         .         .         [---------]| [3:4] N  -> 'cat' *
|.         .         [-------------------]| [2:4] NP -> ART N *
|.         .         >         .         .| [2:2] S  -> * NP VP
|.         [-----------------------------]| [1:4] VP -> V NP *
|.         .         [------------------->| [2:4] S  -> NP * VP
|[=======================================]| [0:4] S  -> NP VP *
(S (NP (NAME John)) (VP (V ate) (NP (ART the) (N cat))))

|.   John  .   ate   .   the   .   cat   .|
|[---------]         .         .         .| [0:1] 'John'
|.         [---------]         .         .| [1:2] 'ate'
|.         .         [---------]         .| [2:3] 'the'
|.         .         .         [---------]| [3:4] 'cat'
|>         .         .         .         .| [0:0] S  -> * NP VP
|>         .         .         .         .| [0:0] NP -> * NAME
|>         .         .         .         .| [0:0] NP -> * ART N
|>         .         .         .         .| [0:0] NAME -> * 'John'
|[---------]         .         .         .| [0:1] NAME -> 'John' *
|[---------]         .         .         .| [0:1] NP -> NAME *
|[--------->         .         .         .| [0:1] S  -> NP * VP
|.         >         .         .         .| [1:1] VP -> * V NP
|.         >         .         .         .| [1:1] VP -> * V
|.         >         .         .         .| [1:1] V  -> * 'ate'
|.         [---------]         .         .| [1:2] V  -> 'ate' *
|.         [--------->         .         .| [1:2] VP -> V * NP
|.         [---------]         .         .| [1:2] VP -> V *
|[-------------------]         .         .| [0:2] S  -> NP VP *
|.         .         >         .         .| [2:2] NP -> * NAME
|.         .         >         .         .| [2:2] NP -> * ART N
|.         .         >         .         .| [2:2] ART -> * 'the'
|.         .         [---------]         .| [2:3] ART -> 'the' *
|.         .         [--------->         .| [2:3] NP -> ART * N
|.         .         .         >         .| [3:3] N  -> * 'cat'
|.         .         .         [---------]| [3:4] N  -> 'cat' *
|.         .         [-------------------]| [2:4] NP -> ART N *
|.         [-----------------------------]| [1:4] VP -> V NP *
|[=======================================]| [0:4] S  -> NP VP *
(S (NP (NAME John)) (VP (V ate) (NP (ART the) (N cat))))

Well-Formed Substring Tables

Parse a sentence John ate the cat

import nltk
grammar = nltk.CFG.fromstring("""
    S -> NP VP
    VP -> V NP | V
    NP -> NAME | ART N
    NAME -> 'John'
    V -> 'ate'
    ART -> 'the'
    N -> 'cat'
    """)

tokens = ['John', 'ate', 'the', 'cat']

def init_wfst(tokens, grammar):
    numtokens = len(tokens)
    wfst = [['.' for i in range(numtokens+1)] for j in range(numtokens+1)]
    for i in range(numtokens):
        productions = grammar.productions(rhs=tokens[i])
        wfst[i][i+1] = productions[0].lhs()
    return wfst

def display(wfst, tokens):
    print('\nWFST ' + ' '.join([("%-4d" % i) for i in range(1, len(wfst))]))
    for i in range(len(wfst)-1):
        print_string = ("%d   " % i)
        for j in range(1, len(wfst)):
            print_string += (" %-4s"% wfst[i][j])
        print(print_string)

wfst0 = init_wfst(tokens, grammar)
display(wfst0, tokens)
output
WFST 1    2    3    4
0    NAME .    .    .
1    .    V    .    .
2    .    .    ART  .
3    .    .    .    N

Charts

Parse a sentence John ate the cat

import nltk
grammar = nltk.CFG.fromstring("""
    S -> NP VP
    VP -> V NP | V
    NP -> NAME | ART N
    NAME -> 'John'
    V -> 'ate'
    ART -> 'the'
    N -> 'cat'
    """)

tokens = ['John', 'ate', 'the', 'cat']

def complete_wfst(wfst, tokens, trace=False):
    index = {}
    for prod in grammar.productions():
        index[prod.rhs()] = prod.lhs()
    numtokens = len(tokens)
    for span in range(2, numtokens+1):
        for start in range(numtokens+1-span):
            end = start + span
            for mid in range(start+1, end):
                nt1, nt2 = wfst[start][mid], wfst[mid][end]
                if (nt1,nt2) in index:
                    if trace:
                        print("[%s] %3s [%s] %3s [%s] ==> [%s] %3s [%s]" % \
                        (start, nt1, mid, nt2, end, start, index[(nt1,nt2)], end))
                    wfst[start][end] = index[(nt1,nt2)]
    return wfst

wfst1 = complete_wfst(wfst0, tokens, trace=True)
output
[2] ART [3]   N [4] ==> [2]  NP [4]
[1]   V [2]  NP [4] ==> [1]  VP [4]

earleychart demo

import nltk
nltk.parse.earleychart.demo()

Complex grammar and tokens

grammar = nltk.CFG.fromstring("""
    S -> NP VP
    PP -> P NP
    NP -> Det N | Det N PP | 'I'
    VP -> V NP | VP PP
    Det -> 'an' | 'my'
    N -> 'elephant' | 'pajamas'
    V -> 'shot'
    P -> 'in'
    """)
tokens = ['I', 'shot', 'an', 'elephant', 'in', 'my', 'pajamas']

grammar = nltk.CFG.fromstring("""
    S -> NP VP
    NP -> ART ADJ N | ART N | ADJ N
    VP -> AUX VP | V NP
    ART -> 'the'
    ADJ -> 'large'
    N -> 'can' | 'hold' | 'water'
    AUX -> 'can'
    V -> 'can' | 'hold' | 'water'
    """)
tokens = ['the', 'large', 'can', 'can', 'hold', 'the', 'water']
AlgoComp
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python nltk库_Python之NLTK
weixin_39876450的博客
12-16 231
继续了解NLTK《用Python玩转数据》byDazhuang@NJUNLTK包括获取语料库、字符串处理、搭配发现、词性标注、机器学习、分块解析、语义解释、指标评测、概率与估计等多项语言任务，在处理时非常方便，例如要载入并去掉停用词可用类似如下几行简单代码就可以完成：fromnltk.corpusimportstopwordsstopwords=stopwords.words('eng...
[python]NLTK简明教程
热门推荐
Forgive Me
09-19 1万+
nltk简明教程NLTK是python环境下NLP工具包，包含了丰富的文本处理和文本挖掘API。安装安装NLTK比较简单，linux环境下只需要简单的执行sudo pip install -U nltk即可完成安装。语料下载import nltk #指定目录下载nltk自带的英文语料 #如果不是使用的默认路径需要执行下面的语句添加环境变量： #vim ~/.profile #文件末尾添加NLTK_D
NLTK使用Stanford parser方法，可类推Stanford其他nlp工具
ghnudt2000的专栏
12-23 2522
一、环境变量的方法 安装最新的nltk（3.1），否则没有包含stanford模型下载parser的stanford-parser.jar以及模型stanford-parser-models.jar设置环境变量，将stanford-parser.jar的路径加入calsspath，创建一个STANFORD_MODELS，将stanford-parser-models.jar路径加入在pyth
nltk 3.0 的parse
liuha511的专栏
11-30 1346
怕自己忘了，先记下来。原文8-2的程序 grammar2 = nltk.parse_cfg(""" S -> NP VP NP -> Det Nom | PropN Nom -> Adj Nom | N VP -> V Adj | V NP | V S | V NP PP PP -> P NP PropN -> 'Buster' | 'Chatterer' | 'Joe' Det -> 'the
自热语言处理中的文法分析
象在舞的技术专栏
03-10 556
声明：代码的运行环境为Python3。Python3与Python2在一些细节上会有所不同，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。相关文章将会发布在我的个人博客专栏《Python自然语言处理》，欢迎大家关注。 文法在自然语言处理中可以提高处理的准确度，属于很关键的一环。 ''' 文法分析 ''' import nltk # 文法 gramm...
深入NLTK：Python自然语言处理库高级教程
DEVELOPERAA的博客
08-07 221
在前面的初级和中级教程中，我们了解了NLTK库中的基本和进阶功能，如词干提取、词形还原、n-gram模型和词云的绘制等。
NLTK结合stanfordnlp工具包使用方法总结
Think
03-06 9459
简述 NLTK 是一款著名的 Python 自然语言处理(Natural Language Processing, NLP)工具包，在其收集的大量公开数据集、模型上提供了全面、易用的接口，涵盖了分词、词性标注(Part-Of-Speech tag, POS-tag)、命名实体识别(Named Entity Recognition, NER)、句法分析(Syntactic Parse)等各项 NL...
Python编程使用NLTK进行自然语言处理详解
12-23
自然语言工具箱（NLTK，NaturalLanguageToolkit）是一个基于Python语言的类库，它也是当前最为流行的自然语言编程与开发工具。在进行自然语言处理研究和应用时，恰当利用NLTK中提供的函数可以大幅度地提高效率。本文...
Python-rakenltkPython实现使用NLTK的快速自动关键字提取算法
08-10
1. **分词**：首先，使用 NLTK 或其他分词工具对输入文本进行词汇分割。 2. **词频统计**：计算每个单词在文本中出现的次数，这代表了单词的重要性。 3. **短语提取**：识别出可能的关键词短语，如连在一起的多个...
我应该如何使用 Python 的 NLTK 库进行词频统计
最新发布
06-06
### 如何使用Python的NLTK库进行词频统计 #### 一、引言 自然语言处理（NLP）是计算机科学领域的一个重要分支，旨在帮助机器理解人类语言。词频统计是NLP中最基础也是最常用的技术之一，通过统计文本中各个单词出现...
NLTK来源-Python开发
05-25
自然语言工具包（NLTK）NLTK（自然语言工具包）是一套支持自然语言处理研究和开发的开源Python模块，数据集和教程。 对于文档而言，自然语言工具包（NLTK）NLTK（自然语言工具包）是一套开源Python模块，数据集和...
python语法详解_关于python：NLTK中解析的英语语法
weixin_39968760的博客
11-26 510
是否有可以立即使用并可以在NLTK中使用的即用型英语语法？ 我搜索了使用NLTK进行解析的示例，但似乎我必须在解析句子之前手动指定语法。非常感谢！您可以看一下pyStatParser，这是一个简单的python统计解析器，它返回NLTK解析树。它带有公共树库，并且仅在您首次实例化解析器对象时(大约8秒内)才生成语法模型。它使用CKY算法，并且在一秒钟内解析平均长度的句子(如下面的句子)。12345...
依存句法分析（NLTK--stanford parser）
kasiko的博客
07-27 4514
依存句法分析 句法分析（syntactic parsing）是自然语言处理中的关键技术之一，它是对输入的文本句子进行分析以得到句子的句法结构的处理过程。对句法结构进行分析，一方面是语言理解的自身需求，句法分析是语言理解的重要一环，另一方面也为其它自然语言处理任务提供支持。例如句法驱动的统计机器翻译需要对源语言或目标语言（或者同时两种语言）进行句法分析；语义分析通常以句法分析的输出结果作为输入以便获得更多的指示信息。 parser和model的下载地址 NLTK 中的parse模块已经将斯坦福大学句法分
nltk和python的关系,斯坦福大学对Python NLTK的通用依赖关系
weixin_35681614的博客
12-15 139
Is there any way I can get the Universal dependencies using python, or nltk?I can only produce the parse tree.Example:Input sentence:My dog also likes eating sausage.Output:Universal dependenciesnmod:...
使用nltk + Stanford parser生成句法树
dalangzhonghangxing的专栏
05-13 5589
在自然语言处理中，句法树是比较有用的特征，特别是生成最短依赖路径SDP。 首先我们要去官网下载jar包。有多种语言可选，也可以下载完整版。 我们下好了之后，解压stanford-parser-full-2018-02-27.zip文件，我们需要其中的如下几个文件: stanford-parser-3.9.1-models.jar stanford-parser.jar 解压stanford-...
【NLP】使用 NLTK 解析与生成上下文无关文法（Context-free Grammar）
x66ccff
11-07 720
使用 NLTK 解析与生成上下文无关文法（Context-free Grammar）
Windows下使用NLTK Stanford
城南花开的专栏
07-14 561
nltk工具包中有一个用于自然语言句法分析的文件夹parse（地址C:\Python27\Lib\site-packages\nltk\parse\stanford.py）。其中stanford.py就是我们要用的stanford parser的源文件，这里面有parse...
【segmentation & parsing & dependency parsing & NER】nltk调用stanford NLP工具包
己亥孟陬
05-15 2385
环境：win 7 + python 3.5.2 + nltk 3.2.1Chinese word segmentation前期准备 下载stanford-segmenter-2015-12-09（2016版的stanford segmenter与nltk接口不兼容），解压，将根目录下的stanford-segmenter-3.6.0.jar，slf4j-api.jar，data文件夹拷贝到某个文件
使用NLTK和Python库构建NLP与机器学习应用
"NLTK Essentials 是一本由PACKT在2015年出版的书籍，主要探讨了自然语言处理（NLP）领域的知识，并...通过本书，你将掌握使用NLTK和Python库进行NLP工作的核心技能，为进一步研究机器学习和人工智能打下坚实的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值