关于自然语言处理的资料已经非常多,对于英文文本的处理步骤和方式在这里给大家整理一下:
一般来说英文文本处理有几以下几个步骤:
(1)分词操作:
分词应该是所有自然语言处理首先都需要做的,那么分词有以下几种方法供给大家参考
1.TextBlob包中提供的分词操作用法:text.word,其中text为文本名称
2.NLTK包中的分词方法:word_tokenize(text)
3.split方法做分词:因为英文单词本来就有空格,所以直接使用空格作为词语之间的间隔判断:text.split()
(2)小写转化:
word.lower()
(3)去除停词:
去除停词的方法通常有几种:
1.使用nltk包中自带的停词表
nltk.download(‘stopwords’) 本语句只需要执行一次,另外关于下载出错的问题本博主有在之前文章中提及,大家可以看看。
stop_words = stopwords.words(‘english’)这样就加载了停词库中的英文停词表。
2.使用自己创建的停词表:
看了一下nltk默认的停词表只有178个单词左右,可能不满足某些项目需求。使用自带英文停词表可以有效地帮助减少停词。
stopwords = [word.strip().lower() for word in open(“stoplist.txt”)]
(4)词性标注操作:
这里可以使用两种方法:
1.nltk包自带的词性标注:nltk.pos_tag(text)
2.Spacy包带的词性标注
(5)词性还原:
1.nltk包
2.Spacy包
(6)检查文本中的词频:
1.在分词之后使用collection包带的Counter函数 word_counts = collections.Counter(words)
2.在分词之后使用nltk包带的工具:FreqDist(words)
(7)textblob包
这个包有很多功能:名词短语提取,词性标记,情绪分析,分类,大家感兴趣可以自己去查找一下,该包是基于nltk上建立的,有更多的功能可用,仅供大家参考。