Python实现中文小说词频统计

最新推荐文章于 2024-04-23 10:25:03 发布

qwerasdf890

最新推荐文章于 2024-04-23 10:25:03 发布

阅读量1.6w

点赞数

分类专栏： Python 文章标签：分词 Python

本文链接：https://blog.csdn.net/ryan_zhang0/article/details/39808777

版权

统计一个文件中出现次数最高的10个词语，用来测试的例子是金庸小说，挑选其中一部小说，我挑的是天龙八部。在网上找了好久相关的开源项目，很多同学做这个都是用的C++，但是我想能不能做一点不一样的东西，自己先用JavaScript尝试了一下，发现做出来的demo又很多不完善的地方，只好又到网上查找社区已经开源出来的项目，最后找到了个Python的开源中文分词软件jieba，因为自己也有学习Python，所以就这个了。
里面分为两个部分，对于已收录的词语，分成两步，首先采用Trie树进行扫描，将句子中的词语构成有向无环图，接着采用动态规划算法查找最有可能的词语。对于为收录的词，则是Viterbi algorithm（一个动态规划算法），加上HMM模型（隐式马尔可夫模型）。

整个工程还是比较大，首先是读文件，整个压缩文件夹有8.9MB大小，包括15部小说，解压之后17.3MB，要分析的这部小说大小是2.5MB。里面有一个test的例子，可以对特定的文件做Top K搜索。代码如下

import sys
sys.path.append('../')

import jieba
import jieba.analyse
from optparse import OptionParser

USAGE = "usage:    python extract_tags.py [file name] -k [top k]"

parser = OptionParser(USAGE)
parser.add_option("-k", dest="topK")
o