文本歧义及其清理
包括数据再加工、文本清理、特定预处理。标志化处理、词干提取或词形还原、停用词移除
csv文件
json文件
语句分离器
inputstring='This is an example sent. The sentence splitter will split ' \
'on sent markers. Ohh really!!'
from nltk.tokenize import sent_tokenize
all_sent=sent_tokenize(inputstring)
print(all_sent)
结果如下:
['This is an example sent.', 'The sentence splitter will split on sent markers.', 'Ohh really!', '!']
这里是将原生字符串分割到一个语句列表,用的是预处理函数sent_tokenize(),这是一个内置在NLTK中的语句边界检测算法
如果在应用中需要自定义一个语句分离器的话,也可以用以下方式来训练出属于自己的语句分离器
import nltk.tokenize.punkt
tokenizer=nltk.tokenize.punkt.PunktSentenceTokenizer()
该预置语句分离器可以支持17种语言。我们只需要为其指定相关的配方对象即可。这里只需要提供一个相关种类的文本语料就已经足够了,而且实际上也很少有机会需要我们自己来构建这些内容
未完。。。
中文分词歧义包括:交叉型歧义和组合型歧义
停用词清理
停用词又称垃圾词,完成自然语言理解与文本分类等任务时,都需要预处理文本,自动过滤掉某些不能表征意义的字、词或符号,这些词被称为停用词(stop word)