jieba分词库——基于 TextRank 算法的关键词抽取

基于 TextRank 算法的关键词抽取

• jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’)) 直接使用，接口相同，注意默认过滤词性。
• jieba.analyse.TextRank() 新建自定义 TextRank 实例

基本思想:

1. 将待抽取关键词的文本进行分词

2. 以固定窗口大小(默认为5，通过span属性调整)，词之间的共现关系，构建图

3. 计算图中节点的PageRank，注意是无向带权图

4. 词性标注

   • jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器，tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。jieba.posseg.dt 为默认词性标注分词器。

   • 标注句子分词后每个词的词性，采用和 ictclas 兼容的标记法。

   • 除了jieba默认分词模式，提供paddle模式下的词性标注功能。paddle模式采用延迟加载方式，通过enable_paddle()安装paddlepaddle-tiny，并且import相关代码；

   • 用法示例

     >>> import jieba
     >>> import jieba.posseg as pseg
     >>> words = pseg.cut("我爱北京天安门") #jieba默认模式
     >>> jieba.enable_paddle() #启动paddle模式。 0.40版之后开始支持，早期版本不支持
     >>> words = pseg.cut("我爱北京天安门",use_paddle=True) #paddle模式
     >>> for word, flag in words:
     ...    print('%s %s' % (word, flag))
     ...
     我 r
     爱 v
     北京 ns
     天安门 ns
     

paddle模式词性标注对应表如下：

paddle模式词性和专名类别标签集合如下表，其中词性标签 24 个（小写字母），专名类别标签 4 个（大写字母）。

标签	含义	标签	含义	标签	含义	标签	含义
n	普通名词	f	方位名词	s	处所名词	t	时间
nr	人名	ns	地名	nt	机构名	nw	作品名
nz	其他专名	v	普通动词	vd	动副词	vn	名动词
a	形容词	ad	副形词	an	名形词	d	副词
m	数量词	q	量词	r	代词	p	介词
c	连词	u	助词	xc	其他虚词	w	标点符号
PER	人名	LOC	地名	ORG	机构名	TIME	时间

5.并行分词

• 原理：将目标文本按行分隔后，把各行文本分配到多个 Python 进程并行分词，然后归并结果，从而获得分词速度的可观提升
• 基于 python 自带的 multiprocessing 模块，目前暂不支持 Windows
• 用法：
  • jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数
  • jieba.disable_parallel() # 关闭并行分词模式
• 例子：https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py
• 实验结果：在 4 核 3.4GHz Linux 机器上，对金庸全集进行精确分词，获得了 1MB/s 的速度，是单进程版的 3.3 倍。
• 注意：并行分词仅支持默认分词器 jieba.dt 和 jieba.posseg.dt。

6.Tokenize：返回词语在原文的起止位置

• 注意，输入参数只接受 unicode
• 默认模式

result = jieba.tokenize(u'永和服装饰品有限公司')
for tk in result:
    print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
    
    
    
word 永和                start: 0                end:2
word 服装                start: 2                end:4
word 饰品                start: 4                end:6
word 有限公司            start: 6                end:10

• 搜索模式

  result = jieba.tokenize(u'永和服装饰品有限公司', mode='search')
  for tk in result:
      print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
      
      
      
  word 永和                start: 0                end:2
  word 服装                start: 2                end:4
  word 饰品                start: 4                end:6
  word 有限                start: 6                end:8
  word 公司                start: 8                end:10
  word 有限公司            start: 6                end:10