自然语言处理（NLP）-NLTK入门学习（二）

最新推荐文章于 2024-08-03 20:56:21 发布

金戈拉斯

最新推荐文章于 2024-08-03 20:56:21 发布

阅读量2.4k

点赞数

分类专栏：学习笔记文章标签： POS

本文链接：https://blog.csdn.net/maizi1045/article/details/80723746

版权

本文介绍了NLTK的词性标注（POS）应用，包括Stanford标注器、顺序性标注器（N-gram和正则表达式标注器）的使用示例，以及命名实体识别（NER）。通过实例展示了不同标注器的工作原理和效果。

摘要由CSDN通过智能技术生成

前面我分享了一下使用NLTK进行文本数据的预处理工作，这里继续分享一下NLTK的词性标注。

词性（POS）在小学的语文课或者英语课中已经多次强调了其含义，这里就不赘述了。就拿英语来说，它在新闻和其它领域往往都有许多已经被标注的语料库，所以已经有大量的算法在这一领域中得到应用。但是在特定的应用场景中，POS的判定可能有些失灵。对于这些用例，可能需要重新建立一个标注器。

在讨论POS标注时，有一个公认的标准就是Penn Treebank的POS标记库。其原本是一个项目的名称，该项目主要用于对相关语料进行标注，标注内容包括词性标注及句法分析。其语料来源为1989年的华尔街日报。

下面就几个常见的标注器的使用进行一些简单的示例分享。

1. Stanford 标注器

从名字就可以看出其出身，斯坦福大学。又想感叹一句，国内外的大学差距怎么那么大，人家一个搞学术的学校也能出商用的项目和代码，而国内的呢？搞学术的都跟闹着玩一下，评价一个教授的好坏就是看他出了多少篇论文，而其学术对于科技进步的贡献如何评价却没有人去关注。收！回到本文的内容，使用Stanford标注器需要下载一个模块，其下载地址如下: https://nlp.stanford.edu/software/stanford-postagger-2017-06-09.zip

代码：

from nltk.tag.stanford import StanfordPOSTagger
import nltk
s = 'The tagger was originally written by Kristina Toutanova. '
print(nltk.pos_tag(s))
stan_tagger = StanfordPOSTagger('stanford-postagger-2017-06-09/models/english-bidirectional-distsim.tagger',
                                'stanford-postagger-2017-06-09/stanford-postagger-3.8.0.jar')
tokens = nltk.word_tokenize(s)
print(tokens)
print(stan_tagger.tag(tokens))

结果：

[('T', 'NNP'), ('h', 'NN'), ('e', 'NN'), (' ', 'NNP'), ('t', 'VBZ'), ('a', 'DT'), ('g', 'NN'), ('g', 'NN'), ('e', 'NN'), ('r', 'NN'), (' ', 'NNP'), ('w', 'VBZ'), ('a', 'DT'), ('s', 'JJ'), (' ', 'NN'), ('o', 'IN'), ('r', 'NN'), ('