【转】Python实现使用NLTK的快速自动关键字提取算法

Using pip

pip install rake-nltk

Directly from the repository

git clone https://github.com/csurfer/rake-nltk.git
python rake-nltk/setup.py install

Quick start

from rake_nltk import Rake

# Uses stopwords for english from NLTK, and all puntuation characters by
# default
r = Rake()

# Extraction given the text.
r.extract_keywords_from_text(<text to process>)

# Extraction given the list of strings where each string is a sentence.
r.extract_keywords_from_sentences(<list of sentences>)

# To get keyword phrases ranked highest to lowest.
r.get_ranked_phrases()

# To get keyword phrases ranked highest to lowest with scores.
r.get_ranked_phrases_with_scores()

链接:https://php.ctolib.com/rake-nltk.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NLTK(自然语言处理工具包)是一个广泛使用Python库,它提供了丰富的自然语言处理工具和算法。虽然NLTK主要是用于英文文本处理,但它也可以用于处理中文文本。下面是一些使用NLTK处理中文文本的基本步骤: 1. 安装NLTK 可以使用pip命令来安装NLTK。在终端中运行以下命令: ``` pip install nltk ``` 2. 下载中文语料库 NLTK提供了一些中文语料库,可以使用以下代码来下载它们: ``` import nltk nltk.download('cess_esp') # 中国现代汉语语料库 nltk.download('udhr2') # 世界人权宣言 ``` 3. 分词 中文文本需要先进行分词才能进行其他处理。可以使用jieba库进行中文分词。安装jieba库可以使用以下命令: ``` pip install jieba ``` 然后可以使用以下代码来进行中文分词: ``` import jieba text = '今天天气真好。' seg_list = jieba.cut(text, cut_all=False) print(" ".join(seg_list)) ``` 4. 去除停用词 停用词是指在文本处理过程中被忽略的常用词语,例如“的”、“是”、“在”等。可以使用NLTK提供的中文停用词表来去除停用词。以下是一些示例代码: ``` from nltk.corpus import stopwords stop_words = set(stopwords.words('chinese')) words = ['我', '是', '中国', '人'] filtered_words = [w for w in words if not w in stop_words] print(filtered_words) ``` 5. 词性标注 词性标注是指为文本中的每个单词标注它的词性,例如名词、动词、形容词等。可以使用NLTK提供的中文词性标注器来进行词性标注。以下是一些示例代码: ``` import nltk text = '我爱北京天安门。' tokens = nltk.word_tokenize(text) tagged = nltk.pos_tag(tokens, lang='eng') print(tagged) ``` 以上是使用NLTK实现中文自然语言处理的一些基本步骤和示例代码。当然,这只是冰山一角,NLTK还提供了许多其他的自然语言处理功能和算法,可以根据具体的需求进行调用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值