nltk和python的关系_NLTK学习笔记(一):语言处理和Python

目录

nltk资料下载

import nltk

nltk.download()

其中,download() 参数默认是all,可以在脚本里面加上nltk.download(需要的资料库) 来进行下载

文本和词汇

首先，通过from nltk.book import * 引入需要的内置9本书

搜索文本

上下文：Text.concordance('monstrous') ，concordance是一致性的意思。即在Text对象中monstrous出现的上下文

相同上下文单词：Text.similar('monstrous') ,查找哪些词还有相同的上下文 。(比如 the__size 空格上可以是big/small)，这个函数会自动找出来并返回。

多个单词上下文: Text.common_contexts(['very','monstrous']) ,返回共用两个或两个以上词汇的上下文

多个单词频率绘图工具： Text.dispersion_plot(['citizens','freedom']) , 可以得到很好看的离差散点图

计数词汇(去重、定位)

不去重的计算用BIF里面的len() 就可以了:len(text1)

去重计算 需要用到内置结构set: len(set(text1))

可以使用nltk内置BIF：Text.count(word) 查找单词出现次数；使用Text.index(word)可以进行定位

词链表

主要是结合python内置list的特点，可以进行链接等一些链表操作，十分方便，对于一些基本的list操作，可以自行看文