NLP笔记

文本歧义及其清理

包括数据再加工、文本清理、特定预处理。标志化处理、词干提取或词形还原、停用词移除

csv文件

json文件

语句分离器

inputstring='This is an example sent. The sentence splitter will split ' \
            'on sent markers. Ohh really!!'
from nltk.tokenize import sent_tokenize
all_sent=sent_tokenize(inputstring)
print(all_sent)

结果如下：

['This is an example sent.', 'The sentence splitter will split on sent markers.', 'Ohh really!', '!']

这里是将原生字符串分割到一个语句列表，用的是预处理函数sent_tokenize()，这是一个内置在NLTK中的语句边界检测算法

如果在应用中需要自定义一个语句分离器的话，也可以用以下方式来训练出属于自己的语句分离器

import nltk.tokenize.punkt
tokenizer=nltk.tokenize.punkt.PunktSentenceTokenizer()

该预置语句分离器可以支持17种语言。我们只需要为其指定相关的配方对象即可。这里只需要提供一个相关种类的文本语料就已经足够了，而且实际上也很少有机会需要我们自己来构建这些内容

未完。。。

 

 

中文分词歧义包括：交叉型歧义和组合型歧义

停用词清理

停用词又称垃圾词，完成自然语言理解与文本分类等任务时，都需要预处理文本，自动过滤掉某些不能表征意义的字、词或符号，这些词被称为停用词（stop word）