- 分词
#分词
from nltk import word_tokenize
tokens = word_tokenize(raw_text)
- 创建text
# #创建text
text = nltk.Text(tokens) #将分词后的结果创建为一个文本
print(text.collocations())#查看一些常用搭配
- 打开本地文件,与去除换行符打开本地文件
f = open('d:/data/document.txt')
f.read()
f = open('d:/data/document.txt','rU')
for line in f:
print(line.strip())