Spacy分词php,自然语言处理NLP（Spacy）入门 （一）

自然语言处理(Natuarl Language Processing, NLP)，是人工智能领域的一个重要的方向。一般我们听到的文本分类、文本挖掘都属于NLP的范畴。

为了完成NLP任务，我们一般需要对文本进行预处理。预处理一般包括文本清洗、分词、去掉停用词、标准化和特征提取等(不过现在BERT横空出世，甚至可以不经过这些步骤)。Spacy是这个领域内的一个比较领先好用的工业级处理库。

导入英文处理库：

import spacy

nlp = spacy.load('en')

分词(Tokenizing)：

doc = nlp("Tea is healthy and calming, don't you think?")

for token in doc:

print(token)

输出：

Tea

is

healthy

and

calming

,

do

n't

you

think

?

词形还原 (Lemmatization) 和判断停用词：

(用token.lemma_与token.is_stop方法)

print(f"Token \t\tLemma \t\tStopword".format('Token', 'Lemma', 'Stopword'))

print("-"*40)

for token in doc:

print(f"{str(token)}\t\t{token.lemma_}\t\t{token.is_stop}")

输出：

Token Lemma Stopword

----------------------------------------

Tea tea False

is be True

healthy healthy False

and and True

calming calm False

, , False

do do True

n't not True

you -PRON- True

think think False

? ? False

可以看到is的词形被还原为了be，某些词的原形其实是一样的，处理的时候应该按照一样的文本处理，比如：

doc = nlp('help helped cup cups')

for token in doc:

print(token.lemma_)

输出：

help

help

cup

cup