这篇博客介绍了如何使用NLTK进行分句和分词操作。在Python中，通常利用split函数处理中文分句，但NLTK的sent_tokenize库能提供更好的效果。对于分词，文章建议使用jieba进行中文分词，而英文分词则可直接借助NLTK的nltk.tokenize模块。同时，还提到了处理特殊字符的一些常见Python函数。
NLTK笔记:分句与分词
NLTK在数据抓取完成后，你拿到的数据往往是一篇文章或者一大段文字，在进行其他处理之前，你需要先对文章进行切割或者处理(去除多余字符、特殊符号，分句和分词)，分句主要是可以把有些不需要的句子给去掉，比如长度小于10的。
分句
一般情况下我们可以通过python的split等函数快速完成切分任务，主要的分割特征如下：
中文主要有(。？！)这几个句子结尾标志；
英文也差不多(. ? !)；
可以使用split函数进行分割，可以得到新的列表，例如下面的函数;
def sentence_split(str_centence):
list_ret = list()
for s_str in str_centence.split('.'):
if '?' in s_str:
list_ret.extend(s_str.split('?'))
elif '!' in s_str:
list_ret.extend(s_str.split('!'))
else:
list_ret.append(s_str)
return list_ret
另外nltk中也有提供sent_tokenize库来实现分句，具体使用情况如下函数所示：
from nltk.tokenize import sent_tokenize
def sentence_token_nltk(str):
sent_tokenize_list = sent_tok
最低0.47元/天 解锁文章
扫一扫
2178
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
