关闭

中文分词之jieba简单应用

标签: pythonjieba
82人阅读 评论(0) 收藏 举报
分类:


       最近需要从一些中文文本中提取频率较高的关键词,在网上看到用 Python 做文本挖掘的流程这篇文章,然后知道了jieba(含详细介绍和使用方法)。


1.简介


“结巴”中文分词:做最好的 Python 中文分词组件。特点如下:

  • 支持三种分词模式:

               精确模式,试图将句子最精确地切开,适合文本分析;
               全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
               搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

  • 支持繁体分词
  • 支持自定义词典
  • MIT 授权协议

2.  代码演示

       由于目前的需求只需要从一些中文文本中提取频率较高的关键词,因此只演示很小一部分功能。
import jieba # 导入jieba包

content =  open('F:\weibo_predict_period2\get_top20_keywords.txt', 'rb').read() # 读取中文文件内容

tags= jieba.analyse.extract_tags(content, topK=20) # 提取前topK个高频率的词

print(",".join(tags)) # 输出

        注:有进一步需求,请参考“结巴”中文分词 。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:10675次
    • 积分:686
    • 等级:
    • 排名:千里之外
    • 原创:59篇
    • 转载:3篇
    • 译文:0篇
    • 评论:5条
    最新评论