import jieba, re
jieba.load_userdict("newdit.txt") # 因为是该文章是翻译过来的,人名会有‘·’故为人名加入字典
jieba.re_han_default = re.compile("(.+)", re.U) # 可以使自定义词典含有特殊符号
final = [] # 构建空列表用于放所有的词(要处理的文章)
filename = "moon.txt" # 文件目录
stop = [] # 空列表用于存放停用词
stopName = "stopWords.txt"
newName = "newdit.txt"
newdn = [] # 空列表用于存放自定义词
counts = {
} # 空字典用来记录不含名字的每个词在文章的的频数
counts1={
} #空字典用来记录名字在文章的的频数
people = [] #记录名字
combine_dict = {
} #同义词的词典{a的同义词1:a,a的同义词2:a,b的同义词1:b.....}这种结构
for line in open("tongyici.txt", "r", encoding='utf-8'): #生成同以词字典
similarword = line
统计人物出场次数
最新推荐文章于 2023-08-07 15:09:18 发布
博客主要探讨了如何使用jieba分词库处理包含空格和特殊字符的关键词问题,指出现有解决方案的不足,并分享了一个在自定义字典中支持特殊符号的方法。
摘要由CSDN通过智能技术生成