python 基于jieba模块进行中文分词词频统计

Swimming_hacker

于 2017-09-22 09:39:07 发布

阅读量3.6k

点赞数

分类专栏： python 文章标签： python 算法

本文链接：https://blog.csdn.net/Swimming_hacker/article/details/78059496

版权

本文介绍如何利用Python的jieba模块进行中文文本的分词操作，并详细阐述如何统计分词后的词频，为文本分析提供基础支持。通过阅读官方文档，我们可以了解jieba的安装、导入及主要功能，包括分词、精准模式、全模式、搜索引擎模式等，以及如何扩展词典和自定义分词。同时，文章将展示实例代码，演示词频统计的过程。

摘要由CSDN通过智能技术生成

jieba官方文档：github

# encoding=utf-8
import jieba
import jieba.analyse
txt = open('Chinese.txt',"r")
seg_txt=[]
for line in txt:
    #第一行是关键词提取。
    #第二行是分词提取
    #第三行是关键词提取（与第一行算法有差异）
    seg_list = jieba.analyse.extract_tags(line.strip('\n\r\t'))
    #seg_list = jieba.lcut(line.strip('\n\r\t'))
    #se