文本切分

您好！我是“筋斗云上”，请多关照！

第一篇 文本切分

文本切分包含 两个步骤：句子切分、词语切分

一、句子切分

句子切分是将文本语料库分解成句子的过程，句子 切分基本技术是在句子之间寻找特定的分隔符，例如句号（.）换行符（\n）或者分号（；）等。 NLTK框架常用的句子切分器有：

• sent_tokenize
• PunkSentenceTokenizer
• RegexpTokenizer
• 预先训练的句子切分模型

 关于sent_tokenize，以NLTK中的古腾堡（gutenberg）语料库为例

import nltk

from nltk.corpus import gutenberg

 

alice=gutenberg.raw(fileids='carroll-alice.txt')

st=nltk.sent_tokenize

alice_sentences=st(text=alice)

print('"爱丽丝"中的句子总数：', len(alice_sentences))

print('-'*50)

print('"爱丽丝"的前5句：\n ', alice_sentences[0:5])

运行结果