分词提取关键词基本操作详解

最新推荐文章于 2024-03-13 20:03:34 发布
最新推荐文章于 2024-03-13 20:03:34 发布
阅读量532 收藏 1
点赞数
分类专栏： 人工智能 文章标签： 自然语言处理 word2vec 神经网络 数据挖掘 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiqi_ai_/article/details/129030350
版权

概述

从今天开始我们将开启一段自然语言处理 (NLP) 的旅程. 自然语言处理可以让来处理, 理解, 以及运用人类的语言, 实现机器语言和人类语言之间的沟通桥梁.

编辑

关键词

关键词 (keywords), 即关键词语. 关键词能描述文章的本质, 在文献检索, 自动文摘, 文本聚类 / 分类等方面有着重要的应用.

编辑

关键词抽取的方法

  1. 关键词提取: 针对新文档, 通过算法分析. 提取文档中一些词语作为该文档的关键词

  1. 关键词分配: 给定已有的关键词库, 对于新来的文档从该词库里面分配几个词语作为这篇文档的关键词

TF-IDF 关键词提取

TF-IDF (Term Frequency-Inverse Document Frequency), 即词频-逆文件频率是一种用于信息检索与数据挖掘的常用加权技术. TF-IDF 可以帮助我们挖掘文章中的关键词. 通过数值统计, 反映一个词对于语料库中某篇文章的重要性.

TF

TF (Term Frequency), 即词频. 表示词在文本中出现的频率.

公式:

编辑

IDF

IDF (Inverse Document Frequency), 即逆文档频率. 表示语料库中包含词的文档的数目的倒数.

公式:

编辑

TF-IDF

公式:

编辑

TF-IDF = (词的频率 / 句子总字数) × (总文档数 / 包含该词的文档数)

如果一个词非常常见, 那么 IDF 就会很低, 反之就会很高. TF-IDF 可以帮助我们过滤常见词语, 提取关键词.

jieba TF-IDF 关键词抽取

格式:

  1. jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())

参数:

  • sentence: 待提取的文本语料

  • topK: 返回的关键词个数, 默认为 20

  • withWeight: 是否需要返回关键词权重, 默认为 False

  • allowPOS: 仅包括指定词性的词, 默认为空, 即不筛选

jieba 词性

编号

词性

描述

Ag

形语素

形容词性语素。形容词代码为 a，语素代码ｇ前面置以A。

a

形容词

取英语形容词 adjective的第1个字母。

ad

副形词

直接作状语的形容词。形容词代码 a和副词代码d并在一起。

an

名形词

具有名词功能的形容词。形容词代码 a和名词代码n并在一起。

b

区别词

取汉字“别”的声母。

c

连词

取英语连词 conjunction的第1个字母。

dg

副语素

副词性语素。副词代码为 d，语素代码ｇ前面置以D。

d

副词

取 adverb的第2个字母，因其第1个字母已用于形容词。

e

叹词

取英语叹词 exclamation的第1个字母。

f

方位词

取汉字“方”

g

语素

绝大多数语素都能作为合成词的“词根”，取汉字“根”的声母。

h

前接成分

取英语 head的第1个字母。

i

成语

取英语成语 idiom的第1个字母。

j

简称略语

取汉字“简”的声母。

k

后接成分

l

习用语

习用语尚未成为成语，有点“临时性”，取“临”的声母。

m

数词

取英语 numeral的第3个字母，n，u已有他用。

Ng

名语素

名词性语素。名词代码为 n，语素代码ｇ前面置以N。

n

名词

取英语名词 noun的第1个字母。

nr

人名

名词代码 n和“人(ren)”的声母并在一起。

ns

地名

名词代码 n和处所词代码s并在一起。

nt

机构团体

“团”的声母为 t，名词代码n和t并在一起。

nz

其他专名

“专”的声母的第 1个字母为z，名词代码n和z并在一起。

o

拟声词

取英语拟声词 onomatopoeia的第1个字母。

p

介词

取英语介词 prepositional的第1个字母。

q

量词

取英语 quantity的第1个字母。

r

代词

取英语代词 pronoun的第2个字母,因p已用于介词。

s

处所词

取英语 space的第1个字母。

tg

时语素

时间词性语素。时间词代码为 t,在语素的代码g前面置以T。

t

时间词

取英语 time的第1个字母。

u

助词

取英语助词 auxiliary

vg

动语素

动词性语素。动词代码为 v。在语素的代码g前面置以V。

v

动词

取英语动词 verb的第一个字母。

vd

副动词

直接作状语的动词。动词和副词的代码并在一起。

vn

名动词

指具有名词功能的动词。动词和名词的代码并在一起。

w

标点符号

x

非语素字

非语素字只是一个符号，字母 x通常用于代表未知数、符号。

y

语气词

取汉字“语”的声母。

z

状态词

取汉字“状”的声母的前一个字母。

un

未知词

不带关键词权重

例子:

  1. import jieba.analyse

  1. # 定义文本

  1. text = "自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。" \

  1. "它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。" \

  1. "自然语言处理是一门融语言学、计算机科学、数学于一体的科学。" \

  1. "因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，" \

  1. "所以它与语言学的研究有着密切的联系，但又有重要的区别。" \

  1. "自然语言处理并不是一般地研究自然语言，" \

  1. "而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。" \

  1. "因而它是计算机科学的一部分"

  1. # 提取关键词

  1. keywords = jieba.analyse.extract_tags(text, topK=20, withWeight=False)

  1. # 调试输出

  1. print([i for i in keywords])

输出结果:

  1. Building prefix dict from the default dictionary ...

  1. Loading model from cache C:\Users\Windows\AppData\Local\Temp\jieba.cache

  1. Loading model cost 0.890 seconds.

  1. Prefix dict has been built successfully.

  1. ['自然语言', '计算机科学', '语言学', '研究', '领域', '处理', '通信', '有效', '软件系统', '人工智能', '实现', '计算机系统', '重要', '一体', '一门', '日常', '计算机', '密切', '数学', '研制']

附带关键词权重

  1. import jieba.analyse

  1. # 定义文本

  1. content = "自然语言处理是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。"

  1. # 定义文本

  1. text = "自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。" \

  1. "它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。" \

  1. "自然语言处理是一门融语言学、计算机科学、数学于一体的科学。" \

  1. "因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，" \

  1. "所以它与语言学的研究有着密切的联系，但又有重要的区别。" \

  1. "自然语言处理并不是一般地研究自然语言，" \

  1. "而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。" \

  1. "因而它是计算机科学的一部分"

  1. # 提取关键词 (带权重)

  1. keywords = jieba.analyse.extract_tags(text, topK=20, withWeight=True)

  1. # 调试输出

  1. print([i for i in keywords])

输出结果:

  1. Building prefix dict from the default dictionary ...

  1. Loading model from cache C:\Users\Windows\AppData\Local\Temp\jieba.cache

  1. Loading model cost 1.110 seconds.

  1. Prefix dict has been built successfully.

  1. [('自然语言', 1.1237629576061539), ('计算机科学', 0.4503481350267692), ('语言学', 0.27566262244215384), ('研究', 0.2660770221507693), ('领域', 0.24979825580353845), ('处理', 0.24973179957046154), ('通信', 0.2043557391963077), ('有效', 0.16296019853692306), ('软件系统', 0.16102600688461538), ('人工智能', 0.14550809839215384), ('实现', 0.14389939312584615), ('计算机系统', 0.1402028601413846), ('重要', 0.12347581087876922), ('一体', 0.11349408224353846), ('一门', 0.11300493477184616), ('日常', 0.10913612756276922), ('计算机', 0.1046889912443077), ('密切', 0.10181409957492307), ('数学', 0.10166677655076924), ('研制', 0.09868653898630769)]

TextRank

TextRank 通过词之间的相邻关系构建网络，然后用PageRank 迭代计算每个节点的 rank 值. 排序 rank值即可得到关键词.

  1. import jieba.analyse

  1. # 定义文本

  1. content = "自然语言处理是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。"

  1. # 定义文本

  1. text = "自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。" \

  1. "它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。" \

  1. "自然语言处理是一门融语言学、计算机科学、数学于一体的科学。" \

  1. "因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，" \

  1. "所以它与语言学的研究有着密切的联系，但又有重要的区别。" \

  1. "自然语言处理并不是一般地研究自然语言，" \

  1. "而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。" \

  1. "因而它是计算机科学的一部分"

  1. # TextRank提取关键词

  1. keywords = jieba.analyse.textrank(text, topK=20, withWeight=False)

  1. # 调试输出

  1. print([i for i in keywords])

调试输出:

  1. Building prefix dict from the default dictionary ...

  1. Loading model from cache C:\Users\Windows\AppData\Local\Temp\jieba.cache

  1. ['研究', '领域', '计算机科学', '实现', '处理', '语言学', '数学', '人们', '计算机', '涉及', '有着', '一体', '方法', '语言', '研制', '使用', '人工智能', '在于', '联系', '科学']

  1. Loading model cost 1.062 seconds.

  1. Prefix dict has been built successfully.

一枚爱吃大蒜的程序员
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HanLP实现文本分词、提取关键词、聚类（工具资源+实例）
05-12
HanLP是由一系列模型与算法组成的工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点；提供词法分析（中文分词、词性标注、命名实体识别）、句法分析、文本分类和情感分析等功能。
Python中运行有关jieba模块的时候报错：Building prefix dict from the default dictionary …
12-21
人生处处是惊喜，指不定哪一刻出现了莫名其妙的事件……好了，抒情式开头结束，下面进入正文 前几天运行的好好的程序，今天崩了？？？ 问题出在我的电脑上【狗头.jpg】，它卡了一下，我就无意点了哪，它所有程序报错，我就重启pycharm，然后我别的程序没问题了，有关jieba的程序仍旧报错？？？？ 我盯着程序看了会儿，没找出问题；我接着去百度，似乎没有人出现此类错误；然后，我写了最简单的分词的代码看是不是jieba自己出现问题： import jieba seg_list = jieba.cut("我是共产主义接班人", cut_all=True) print("【全模式】：" + "/ ".jo
文本中的关键词提取方法
c_lanxiaofang的博客
05-01 1665
该算法将文本中的单词看作候选关键词，然后根据单词之间的共现关系和单词在文本中的位置来计算每个候选关键词的得分，最终得到关键词。具体来说，RAKE算法首先将文本拆分成单词，然后根据单词之间的共现关系构建一个带权无向图，将每个单词的得分定义为该单词和相邻单词之间的共现频率和单词在文本中的位置之和，最终根据得分排序得到关键词。该算法基于图论中的PageRank算法，将文本中的单词看作图中的节点，使用单词之间的共现关系构建图，然后根据单词之间的权重计算单词的重要性，最终得到关键词。
对文本数据进行关键词提取，可以采用哪些算法？具体实现流程是什么样的？
最新发布
weixin_46160781的博客
03-13 1163
在SQL中，COALESCE函数是一个非常有用的函数，用于从其参数列表中返回第一个非NULL值。如果所有给定的参数都是NULL，那么COALESCE函数将返回NULL。这个函数可以接受多个参数，使其在处理可能出现的NULL值时非常灵活和强大。
中文分词与关键词提取（NLPIR java版）
04-24
NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词；词性标注；命名实体识别；用户词典功能；支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取；这个是java版本
Java中通过HanLP实现文本分词、提取关键词、聚类（工具资源+实例）
05-20
HanLP是由一系列模型与算法组成的工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点；提供词法分析（中文分词、词性标注、命名实体识别）、句法分析、文本分类和情感分析等功能。
关键词的提取方法
u012998680的博客
12-30 6653
为了方便用户快速了解文章的中心主题，会抽取文章的一些中心词来表达文章的中心思想。关键词抽取就是通过一定的方法抽取出能表达文章的中心主题的一系列方法。
[转]NLP关键词提取方法总结及实现
yanqianglifei的专栏
12-02 3006
最近在研究关键词的提取算法，看到一篇关于关键词提取算法的总结，比较全面了，在这里分享给大家，希望能够帮助同学们~ 原文链接：https://blog.nowcoder.net/n/ac016f8256f54c4b8c8784e99bccf28a (ps：作者同意转发，如果想了解更多，请阅读全文) 目录 一、关键词提取概述 二、TF-IDF关键词提取算法及实现 三、TextRank关键词提取算法实...
Python运行jieba出现Building prefix dict from the default dictionary ...解决办法（会显示正确结果）
热门推荐
gurentan1911的博客
01-18 4万+
Python运行jieba出现 Building prefix dict from the default dictionary …解决办法 这是我运行了代码出现的错误，但是我的结果还是可以正常显示的 Building prefix dict from the default dictionary ... Loading model from cache C:\Users\95114\AppData\Local\Temp\jieba.cache Loading model cost 0.842 second
关键词提取 | 基于Textrank算法的两种关键词提取
ttrr27的博客
10-10 1311
TextRank 算法是一种基于谷歌的 PageRank 算法的用于文本的基于图的排序算法，通过把文本分割成若干组成单元（单词、句子）并建立图模型，利用投票机制对文本中的重要成分进行排序，常用于关键词提取和文本摘要。和 LDA、HMM 等模型不同, TextRank 不需要事先对多篇文档进行学习训练, 因其简洁有效而得到广泛应用。
Python 结巴分词实现关键词抽取分析
09-21
主要介绍了Python 结巴分词实现关键词抽取分析，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
jieba分词器包含关键词提取（java版）
05-07
jieba分词器包含关键词提取（java版，可以使用scala调用）
中文文本关键词抽取的三种方法（TF-IDF、TextRank、word2vec）
锅巴
07-12 2万+
链接地址：https://github.com/AimeeLee77/keyword_extraction 1、基于TF-IDF的文本关键词抽取方法 词频（Term Frequency，TF） 指某一给定词语在当前文件中出现的频率。由于同一个词语在长文件中可能比短文件有更高的词频，因此根据文件的长度，需要对给定词语进行归一化，即用给定词语的次数除以当前文件的总词数。 逆向文件频率...
tfidf关键词提取_短文本关键词提取(keyphrase extraction)
weixin_39697143的博客
12-04 520
短文本关键短语/关键词提取背景：短文本具有内容简短、表达灵活、主题风格各异等特点，从中提取关键短语具有挑战性1 类目 标签 关键短语 关键词的区别类目(category) 是预先定义好的，具有树形的层次结构，抽象的概括某类事物，强调共性，往往具有排他性。 标签tag 粒度比类目更加细，用于刻画一小批群体的特征，不一定有层次结构，一条内容往往可以有多个标签。 关键词(keyword)更侧重于某一具...
【文本挖掘】关键词提取
Algernon98的博客
11-14 2666
统计关键词、情感分析、文本提取、词云生成
关键词提取（keyword extraction）技术
BGoodHabit的博客
10-08 8380
目录1 统计方法（Statistical Method）1.1 TF1.2 TFIDF1.3 YAKE2 图方法（Graph Based Approaches）2.1 TextRank2.1.1 PageRank2.2 SingleRank2.3 TopicRank2.4 PositionRank3 语义模型（Semantic Models） 1 统计方法（Statistical Method） 基于统计方法的核心思想就是计算文本中每个term的分值，有了分值，就可以对所有的term进行排序，然后获取top
关键词抽取方法
霜叶的博客
02-13 1万+
1、关键词提取 为了方便用户快速了解文章的中心主题，会抽取文章的一些中心词来表达文章的中心思想。关键词抽取就是通过一定的方法抽取出能表达文章的中心主题的一系列方法。 2、关键词抽取方法分类 2.1、有监督无监督抽取方法 无监督关键词提取方法主要有三类：基于统计特征的关键词提取（TF,TF-IDF）；基于词图模型的关键词提取(PageRank,TextRank)；基于主题模型的关键词提取(LDA) 基于统计特征的关键词提取算法的思想是利用文档中词语的统计信息抽取文档的关键词； 基于词图模型的关键词
关键词提取
weixin_46772722的博客
12-09 612
TF-IDF算法：（需要大的语料库） （1）TF是词频，表示词在文本中出现的频次，TF越高，这个词就越重要。 IDF强调的是词的区分能力，统计一个词在文档集的多少个文档中出现，其值越小越好。 加1是防止因为有些新词没在文档集中出现过从而导致分母为0，取对数是为防止浮点数下溢。 （2）根据上面两个值乘积后从大到小排名，取前n个作为关键词。 （3）缺点：只考虑了词的两个统计信息，对文本的利用程度小（比如词在文档的不同位置贡献不一样）；生僻字的影响；对出现次数少的重要人名地名等提取效果不佳。 二、.
java使用jieba分词器提取关键词
11-21
很抱歉，jieba分词器是Python中的中文分词工具，Java中并没有直接使用jieba的方法。不过Java中也有很多优秀的中文分词工具，比如ansj、HanLP等。这里以ansj为例，介绍如何在Java中使用中文分词工具提取关键词。 首先，需要在Java项目中引入ansj分词器的jar包。然后，可以按照以下步骤使用ansj分词器提取关键词： 1. 导入ansj分词器的相关类： ```java import org.ansj.domain.Result; import org.ansj.splitWord.analysis.ToAnalysis; import org.ansj.util.FilterModifWord; ``` 2. 调用ToAnalysis.parse()方法对文本进行分词： ```java String text = "这是一段待分词的文本"; Result result = ToAnalysis.parse(text); ``` 3. 调用FilterModifWord.insertStopWords()方法添加停用词（可选）： ```java FilterModifWord.insertStopWords(Arrays.asList("的", "是", "一", "段")); ``` 4. 调用FilterModifWord.modifResult()方法过滤分词结果： ```java result = FilterModifWord.modifResult(result); ``` 5. 遍历分词结果，提取关键词： ```java List<String> keywords = new ArrayList<>();for (int i = 0; i < result.size(); i++) { String word = result.get(i).getName(); String natureStr = result.get(i).getNatureStr(); if (!natureStr.startsWith("w")) { // 过滤掉标点符号 keywords.add(word); } } ``` 以上就是使用ansj分词器在Java中提取关键词的步骤。需要注意的是，ansj分词器默认使用的是基于词典的分词方式，对于一些新词或专有名词可能无法很好地识别，需要手动添加词典或调整分词规则。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一枚爱吃大蒜的程序员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值