NLTK使用手册

最新推荐文章于 2024-04-13 09:12:08 发布

Perry 彭儒

最新推荐文章于 2024-04-13 09:12:08 发布

阅读量294

点赞数

分类专栏：深度学习工具

本文链接：https://blog.csdn.net/pengru120/article/details/116420853

版权

深度学习工具专栏收录该内容

37 篇文章 2 订阅

订阅专栏

该博客介绍了如何使用nltk库进行词性标注和词形还原，通过WordNetLemmatizer将单词转换为其基本形式。内容涉及自然语言处理的基础技术，包括分词、词性标注和词形还原，对于理解和处理文本数据具有重要意义。

摘要由CSDN通过智能技术生成

1. nltk_lemmatize

from nltk import word_tokenize, pos_tag
from nltk.corpus import wordnet
from nltk.stem import WordNetLemmatizer

# 获取单词的词性
def get_wordnet_pos(tag):
    if tag.startswith('J'):
        return wordnet.ADJ
    elif tag.startswith('V'):
        return wordnet.VERB
    elif tag.startswith('N'):
        return wordnet.NOUN
    elif tag.startswith('R'):
        return wordnet.ADV
    else:
        return None

# nltk 词形还原
def nltk_lemmatize(sent):
    tokens = word_tokenize(sent)  # 分词
    tagged_sent = pos_tag(tokens)  # 获取单词词性

    wnl = WordNetLemmatizer()
    lemmas_sent = []
    for tag in tagged_sent:
        wordnet_pos = get_wordnet_pos(tag[1]) or wordnet.NOUN
        lemmas_sent.append(wnl.lemmatize(tag[0], pos=wordnet_pos))  # 词形还原

    return " ".join(lemmas_sent)