NLP学习（四）-英文语料处理(未整理好，请忽略)

• 分词

#分词
from nltk import word_tokenize
tokens = word_tokenize(raw_text)

• 创建text

# #创建text
text = nltk.Text(tokens) #将分词后的结果创建为一个文本
print(text.collocations())#查看一些常用搭配

• 打开本地文件，与去除换行符打开本地文件

f = open('d:/data/document.txt')
f.read()

f = open('d:/data/document.txt','rU')
for line in f:
    print(line.strip())