NLP数据预处理神器nltk

神器nltk

安装很简单:

pip install nltk

第一次使用nltk的话,会报错,还需要下载一些资源包,按照提示下载即可:

import nltk
nltk.download('punkt')

可以简单测试一下:

import nltk
text = 'This is a test. I want to learn nltk.'
sens = nltk.sent_tokenize(text)
print(sens)

上面是将文本text切分成句子。

输出结果是:

[‘This is a test.’, ‘I want to learn nltk.’]

我现在有一个需求,给定一个英文文本,本例子使用《圣经》的英文版,里面每行有若干个句子,我们需要转成每行一个句子,所有字母全部转成小写,单词及符号之间都用空格分隔。

代码如下:

import nltk

lines = []
with open('bible.en.txt') as f:
    # 遍历文件每一行
    for line in f:
        # 将每行以句子为单位分开
        sents = nltk.sent_tokenize(line)
        # 遍历每个句子
        for sent in sents:
            # 先将句子进行tokenize,然后在token之间加空格,最后都转成小写
            tmp = ' '.join(nltk.word_tokenize(sent)).lower().strip() + '\n'
            lines.append(tmp)
# 预处理后的句子写入到新的文件中去
with open('bible.en.txt.lower', 'w') as f:
    f.writelines(lines)

这只是最简单的用法,后续继续补充。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值