常见的英文文本处理步骤

常见的英文文本处理流程中都包含哪些步骤

1.导入相应的类库
import nltk
from nltk import word_tokenize, sent_tokenize
2.导入数据
corpus = open(‘数据路径’,‘r’).read()
3.对文本进行断句处理
sentences = sent_tokenize(corpus)
4.对含有的句子列表进行分词处理
tokenized_words = [nltk.word_tokenize(sentence) for sentence in sentences]
5.过滤词组
from nltk.corpus import stopwords
stop_words = stopwords.words(‘english’)
filtered_corpus = [w for w in words if not w in stop_words]
6.对词性进行标注
tagged_words = [nltk.pos_tag(word) for word in tokenized_words]
7.语态还原
from nltk.stem import PorterStemmer
stemmer = PorterStemmer()
stemmer.stem(“running”)

中文文本处理与英文文本处理任务的区别
1.如果是在主题聚类、文本分类问题上的时候中文需要做自动分词，英文是通过间隔来进行分词的，而中文需要自动分词，而且很容易产生歧义。
2.中英文在词法标注的任务上差异，词法标注:如词语的含义可以同时表示动词或名词如“学习”，热爱”学习”(名词也可以是动词)