jiagu分词和jieba分词的区别

1、jieba项目地址:https://github.com/fxsjy/jieba

2、jiagu项目地址:https://github.com/ownthink/Jiagu

使用心得:

1、利用jieba进行关键词提取,提取之前可以通过

    1、词性标注进行过滤,主要使用参数allowPOS ,

    2、加载停用词表进行词汇的过滤

2、关键词提取函数

jieba.analyse.extract_tags()基于tf-idf

jieba.analyse.textrank()基于textrank

函数参数有一下几个:

sentence 为待提取的文本

topK 为返回的关键词数量,默认值为20

withWeight 为是否一并返回关键词权重值,默认值为False

allowPOS 仅包括指定词性的词,默认值为空,即不筛选

3、关键词提取算法详细原理,以及jieba源代码实习该算法的原理,推荐看这篇文章https://blog.csdn.net/suibianshen2012/article/details/68927060

4、利用jiagu进行关键词提取:jiagu使用的是深度学习,需要训练模型,所以好像很慢,就不推荐了。自己可以参考官方文档,跑跑,测试下。

5、jieba采用的词性表,可以找这个链接:https://blog.csdn.net/csdn_yxy/article/details/84974726,具体参数如图所示:
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值