Python实现中文小说词频统计

最新推荐文章于 2024-08-08 16:43:27 发布

qwerasdf890

最新推荐文章于 2024-08-08 16:43:27 发布

阅读量1.6w

点赞数

分类专栏： Python 文章标签：分词 Python

本文链接：https://blog.csdn.net/ryan_zhang0/article/details/39808777

版权

本文介绍如何使用Python和jieba库来统计中文小说的词频。通过Trie树和动态规划处理已收录词语，结合Viterbi算法与HMM模型处理未收录词，对8.9MB大小的压缩文件（包含15部小说）进行分析，展示了一个针对特定文件的Top K搜索实例，并进行了性能分析。

摘要由CSDN通过智能技术生成

统计一个文件中出现次数最高的10个词语，用来测试的例子是金庸小说，挑选其中一部小说，我挑的是天龙八部。在网上找了好久相关的开源项目，很多同学做这个都是用的C++，但是我想能不能做一点不一样的东西，自己先用JavaScript尝试了一下，发现做出来的demo又很多不完善的地方，只好又到网上查找社区已经开源出来的项目，最后找到了个Python的开源中文分词软件jieba，因为自己也有学习Python，所以就这个了。
里面分为两个部分，对于已收录的词语，分成两步，首先采用Trie树进行扫描，将句子中的词语构成有向无环图，接着采用动态规划算法查找最有可能的词语。对于为收录的词，则是Viterbi algorithm（一个动态规划算法），加上HMM模型（隐式马尔可夫模型）。

整个工程还是比较大，首先是读文件，整个压缩文件夹有8.9MB大小，包括15部小说，解压之后17.3MB，要分析的这部小说大小是2.5MB。里面有一个test的例子，可以对特定的文件做Top K搜索。代码如下

import sys
sys.path.append('../')

import jieba
import jieba.analyse
from optparse import OptionParser

USAGE = "usage:    python extract_tags.py [file name] -k [top k]"

parser = OptionParser(USAGE)
parser.add_option("-k", dest="topK")
o