人工智能：python 实现 第十章，NLP 第二天 基于词义的词形还原

基于词义的词形还原

lemmatization 是另一种词形还原的方式。 在前一节中，我们可以明白从词干中提取词的基本形式没有任何意义。例如，三个三个词干提取器都显示calves的基本形式是calv,但它并不是一个真正的单词。Lemmatization 采取了一种更具结构化的方法解决了这个问题。

lemmatizatio原理是使用语法和词态分析器进行单词分析，它包含了去除了如ing和ed等后缀的单词基本形式，所有基本的形式的单词集合被称作为字典。如果你使用lemmatization对calves进行词形还原，将输出calf。值得注意的是单词基本形式的输出依赖于该词是动词还是名词。下面让我们看看如何使用NLTK

创建 一个姓的python 文件 并且导入 下列包：

from nltk.stem import WordNetLemmatizer

定义输入单词。我们将使用先前使用的单词集以便我们能够比较输出结果

input_words =['writing','calves','be',branded','horse','randomize','possibly','provision'，hospital,‘hospital','kept','scratchy','code']

创建一个lemmatizer对象

#创建对象

lemmatizer = WordNetLemmatizer()

为显示列表创建名字和格式

#创建显示列表名字

lemmatizer_names =['noun Lemmatizer','verb lemmatizer']

formatted_text = '{:>24}'*(len(lemmatizer_names)+1)

print('\n',formatted_text.format('INPUT WORD'),*lemmatizer_names,'\n','='*75)

输入单词集并使用动词和名词词形还原器还原单词：

#对每一个单词进行还原并输出

for word in input_words:

     output =[word,lemmatizer.lemmatize(word,pos='n'),lemmatizer.lemmatize(word,pos='v')]

    print(formatted_text.format(*output))

完整代码如下

from nltk.stem import WordNetLemmatizer

input_words = ['writing', 'calves', 'be', 'branded', 'horse', 'randomize', 
        'possibly', 'provision', 'hospital', 'kept', 'scratchy', 'code']

# 创建 lemmatizer对象 
lemmatizer = WordNetLemmatizer()

# 创建输出表格格式
lemmatizer_names = ['NOUN LEMMATIZER', 'VERB LEMMATIZER']
formatted_text = '{:>24}' * (len(lemmatizer_names) + 1)
print('\n', formatted_text.format('INPUT WORD', *lemmatizer_names), 
        '\n', '='*75)

#对输入的单词进行还原并输出
for word in input_words:
    output = [word, lemmatizer.lemmatize(word, pos='n'),lemmatizer.lemmatize(word, pos='v')]
    print(formatted_text.format(*output))

运行结果：

我们能看到,当遇到形如writing或者calves 这些单词时，名词还原器和动词还原器分词结果是不一样的 。如果将这些输出与之前的stemmer 的输出结果相比，这两者的结果也有不同。基于字典的分词方式比基于规则的方式是更准确的还原单词，更加有意义。