jieba提取关键词时筛选词性时单词性选择的一点注意事项

一个人的场域

于 2017-03-31 17:46:23 发布

阅读量1w

点赞数

分类专栏： NLP 文章标签： jieba 提取关键词词性筛选

本文链接：https://blog.csdn.net/leiting_imecas/article/details/68927710

版权

在使用jieba进行关键词提取时，注意到词性筛选的细节至关重要。例如，设置allow_pos=(‘nr’,)将仅选取'n'和'r'词性的词汇，而若设为'nr'字符串，则会选取'n'和'r'两种词性，导致结果差异。此差异可能影响特征工程的准确性。" 126785907,12798816,Java Dao层模式与JDBC事务详解,"['java', '数据库', 'JDBC']

摘要由CSDN通过智能技术生成

最近又在迭代特征工程，发现jieba提取特征词有个需要注意的地方，直接看例子

例子1

>>> import jieba
>>> import jieba.posseg as pseg
>>> s = '我们喜欢支付宝, 苹果'
>>> ws = pseg.cut(s)
>>> for i in ws:
...     print i
...
我们/r
喜欢/v
支付宝/nr
,/x
 /x
苹果/n
>>> allow_pos = ('nr',)
>>> tags = jieba.analyse.extract_tags(s, topK=10, withWeight=False, allowPOS=allow_pos)
>>> for t in tags:
...     print t
...
支付宝

>>> allow_pos = ('nr'