Python3.5+PyQt5词频统计（三）

主程序编写

一、打开文件

#打开文件
filename_tup=QFileDialog.getOpenFileName(self,'选择文件')
if filename_tup==('', ''): #点击打开文件按钮但未选择文件，为防止闪退，设置pass
        pass           
    elif filename_tup :
        self.sword_dic={} #初始化字典
        self.progressBar.show() #显示进度条
        while self.completed<50: #设置进度条速度，先加载50%，然后读入文件，最后再加载%50
            self.completed+=0.0001
            self.progressBar.setValue(self.completed)

二、读取文件，存入字典

#读取文件，存入字典
doctype = re.findall(r'\..+', filename_tup[0]) #使用正则表达式找出文件类型名
start = time.clock() #设置开始时间点
if doctype==['.txt']:
    with open(filename_tup[0],'r',encoding='utf-8') as f:
        for line in f: #如果是txt文档打开后逐行读入
            words_list=[]
            words_list = re.findall(r'\d+\.\d+|[a-z0-9A-Z]+', str(line).lower()) #使用正则表达式找出每一行的单词和数字，存入列表
            for i in words_list: 
                 if (i not in self.sword_dic):  #如果列表中的单词不存在于字典中，将单词存入字典，初始value置1
                     self.sword_dic[i] = 1
                 else:  #如果列表中的单词存在于字典中，将单词存入字典，value加1
                     self.sword_dic[i] = self.sword_dic[i] + 1
elif doctype==['.docx'] or doctype==['.wps']: #如果是docx文件，使用docx模块读取
    doc = docx.Document(filename_tup[0])
    pc = doc.paragraphs
    for each in pc:
        words_list = []
        words_list = re.findall(r'\d+\.\d+|[a-z0-9A-Z]+', str(each.text).lower())
        for i in words_list:
            if (i not in self.sword_dic):
                self.sword_dic[i] = 1
            else:
                self.sword_dic[i] = self.sword_dic[i] + 1
     doc.save(filename_tup[0])
end=time.clock()  #结束时间
while self.completed<100:  #加载剩余%50进度条
    self.completed=self.completed+0.0001
    self.progressBar.setValue(self.completed)
time.sleep(0.3) 
self.progressBar.hide() #0.3秒后隐藏进度条
self.label.setText('导入成功  耗时:'+str(end-start))  #在下方的label中显示消耗时间

三、统计词频

将字典中的单词按照key值(即单词)降序排序，如不考虑词形变换还原情况，直接输出结果即可

dict=sorted(self.sword_dic.items(), key=lambda d: d[0], reverse=False) 

以下程序是进行简单的词形还原，仅考虑后缀为houzhui = ['s', 'es', 'ed', 'd', 'ing']的情况，不具有参考性，具体的还原过程可以使用NLTK模块中的lemmatizer语法，详情参考ZMonster’s Blog关于词干提取词形还原的文章

http://www.zmonster.me/2016/01/21/lemmatization-survey.html

for k, v in dict: #将key和value分别存入两个列表
    k_list.append(k)
    v_list.append(v)
dict.clear()
i = 0
k_len = len(k_list) #len出列表长度
houzhui = ['s', 'es', 'ed', 'd', 'ing']
while i < (k_len - 1): #从第一个单词开始进行词形还原
    if len(k_list[i]) > 2: #还原的都是长度大于2的单词
        for each in houzhui: #对于后缀列表中的每个后缀，如果单词加上后缀后等于后一个单词，则将后一个单词变为前一个单词，
                             #如第三个单词'egg'+'s'==第四个单词'eggs'，将第四个'eggs'变为'egg'
            if k_list[i + 1] == k_list[i] + each:
                k_list[i + 1] = k_list[i]
    i = i + 1
for num in k_list: #变换完成后，再次统计词频，存在key，value两个列表中
    i = k_list.index(num)
    while i < k_len - 1 and num == k_list[i + 1]:
        v_list[i] = v_list[i] + v_list[i + 1]
        k_list.pop(i + 1)
        v_list.pop(i + 1)
        k_len = k_len - 1
i=0
k_len=len(k_list)
self.dic={}
while i<k_len:  #key、value列表转为字典
    self.dic[k_list[i]]=v_list[i]
    i=i+1
self.sword_dic={}
self.sword_dic = sorted(self.dic.items(), key=lambda d: d[1], reverse=True)
for k, v in self.sword_dic: #在'textBrowser'中插入统计结果
    self.textBrowser_2.insertPlainText((str(k) + ' 出现 ' + str(v) + ' 次\n'))

四、查询单词频率

temp=self.lineEdit.text().lower()  #获取linEdit中输入的单词
if temp in self.dic:
    self.lineEdit_2.setText(temp+' 出现 '+str(self.dic[temp])+' 次')
else:
    self.lineEdit_2.setText('未查找到')

五、批量查询

filename_tup = QFileDialog.getOpenFileName(self, '选择文件')
if filename_tup==('', ''):
    pass
elif filename_tup :
    with open(filename_tup[0], 'r', encoding='utf-8') as f:
        for line in f:  #将要查询的单词统一放在txt文档中，读取稳定将单词写入查询列表
            words_list = []
            words_list = re.findall(r'\d+\.\d+|[a-z0-9A-Z]+', str(line).lower())
            for each in words_list:
                query_word.append(each)
for k in query_word:  #对列表中的每个单词进行查询并输出结果
    if k in self.dic:
        self.textBrowser_2.insertPlainText((str(k) + ' 出现 ' + str(self.dic[k]) + ' 次\n'))
    else:
        self.textBrowser_2.insertPlainText((str(k) + '不存在\n'))

六、保存查询结果

 filename=QFileDialog.getSaveFileName(self,'文件保存','D:/','Text Files (*.txt)')  #PyQt5中保存文件的语句
if filename==('', ''):
    pass
elif filename:
    fn=open(filename[0],'w')
    for k, v in self.sword_dic:
        fn.writelines((str(k) + ' occur ' + str(v) + ' times\n'))
    fn.close()

七、主函数和程序入口

#主函数
def main():
    app=QApplication(sys.argv)
    win=ExampleApp()
    win.show()
    app.exec_()

#程序入口
if __name__ == '__main__':
    main()

八、打包程序

cmd下使用pyinstaller -F -w -i 图标名.ico 文件名.py命令进行打包
-F 打包成一个exe文件
-i 图标
-w 使用窗口，无控制台
打包过程中遇到了一个找不到crt,runtime,dll之类的问题，具体记不清楚了，大概是因为缺少的dll放在了win10系统的C:\Windows\WinSxS中，把这个文件夹加入系统变量中后打包成功

九、测试程序

总结

这个程序是我们软件工程课的作业，本文提供的代码不是最终版，最终版源码文件因为放在C盘不小心删除，只保存了这一版，所以如有错误请指教。
因为选择的数据结构不理想，所以在读取大文件的时候，速度会很慢，100M的txt文件大概需要20s，正常使用字典树可以控制在10s以内，有兴趣的同学可以尝试下