神器nltk
安装很简单:
pip install nltk
第一次使用nltk的话,会报错,还需要下载一些资源包,按照提示下载即可:
import nltk
nltk.download('punkt')
可以简单测试一下:
import nltk
text = 'This is a test. I want to learn nltk.'
sens = nltk.sent_tokenize(text)
print(sens)
上面是将文本text切分成句子。
输出结果是:
[‘This is a test.’, ‘I want to learn nltk.’]
我现在有一个需求,给定一个英文文本,本例子使用《圣经》的英文版,里面每行有若干个句子,我们需要转成每行一个句子,所有字母全部转成小写,单词及符号之间都用空格分隔。
代码如下:
import nltk
lines = []
with open('bible.en.txt') as f:
# 遍历文件每一行
for line in f:
# 将每行以句子为单位分开
sents = nltk.sent_tokenize(line)
# 遍历每个句子
for sent in sents:
# 先将句子进行tokenize,然后在token之间加空格,最后都转成小写
tmp = ' '.join(nltk.word_tokenize(sent)).lower().strip() + '\n'
lines.append(tmp)
# 预处理后的句子写入到新的文件中去
with open('bible.en.txt.lower', 'w') as f:
f.writelines(lines)
这只是最简单的用法,后续继续补充。