SDU创新实训 8.对文献摘要进行命名实体识别提取关键词

sssssssssad

于 2021-05-28 16:43:10 发布

阅读量334

点赞数

分类专栏：创新实训

本文链接：https://blog.csdn.net/weixin_43756517/article/details/117367377

版权

创新实训专栏收录该内容

13 篇文章

订阅专栏

本文介绍了一种创新的命名实体识别方法，通过自定义词典和词性标注实现高效识别，避免了依赖通用工具的局限。项目中特别强调本地用户词典的构建和关键词的筛选，适用于特定领域的文本处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现在有很多命名实体识别开源工具，stanfordnlp，hanlp等等，但都不适用于本项目,经过一一尝试学习，觉得可以用，但没必要

本项目NER思路：(主要通过自定义词典定义关键词词性，对用户输入文本进行词性标注，然后根据词性进行命名实体识别）

对之前处理得到的所有关键词构建本地用户词典，
eg：
利用jieba.load_userdict("…/data/userdict.txt")加载本地词典进行分词。得到在词典中的关键词
对问题进行词性标注，每个分的词后还有一个标注的词性
abstract_seged = jieba.posseg.cut(str(clean_abstract))
对分词词性后的对象分析，只要关键词

 for w in abstract_seged:
        if w.flag=='ngg':
        # 预处理问题
            word= w.word
            abstract_word.append(str(word).strip())
    abstract_word=list(set(abstract_word))

在这里插入图片描述