Python字典使用--词频统计的GUI实现

字典是针对非序列集合而提供的一种数据类型，字典中的数据是无序排列的。

字典的操作

为字典增加一项

dict[key] = value

students = {"Z004":"John","T002":"Peter"}

students
Out[23]: {'T002': 'Peter', 'Z004': 'John'}

students["S007"] = "Susan"

students
Out[25]: {'S007': 'Susan', 'T002': 'Peter', 'Z004': 'John'}

访问字典中的值

dict[key] 返回key对应的值value

dict.get(key,default)--返回字典中key对应的值，若未找到key，则返回default值，default值可不写

删除字典中的一项

del dict[key]

字典的遍历

遍历字典的键key

for key in dict.keys():print(key)

遍历字典的值value

for value in dict.values():print(value)

遍历字典的项

for item in dict.items():print(item)

是否一个键在字典中

注：值不能判断

in 或者 not in 

删除字典项目

dict.clear()--删除字典中的所有项目

dict.pop(key)--删除并返回字典中key对应的值

直接赋值、浅拷贝、深拷贝

直接赋值：其实就是对象的引用（别名）。

浅拷贝(copy)：拷贝父对象，不会拷贝对象的内部的子对象。

深拷贝(deepcopy)： copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象。

字典浅拷贝实例：

>>>a = {1: [1,2,3]}
>>> b = a.copy()
>>> a, b
({1: [1, 2, 3]}, {1: [1, 2, 3]})
>>> a[1].append(4)
>>> a, b
({1: [1, 2, 3, 4]}, {1: [1, 2, 3, 4]})

深度拷贝需要引入 copy 模块：

>>>import copy
>>> c = copy.deepcopy(a)
>>> a, c
({1: [1, 2, 3, 4]}, {1: [1, 2, 3, 4]})
>>> a[1].append(5)
>>> a, c
({1: [1, 2, 3, 4, 5]}, {1: [1, 2, 3, 4]})

http://www.runoob.com/w3cnote/python-understanding-dict-copy-shallow-or-deep.html

示例：词频统计

第一步：输入文章

第二步：建立用于词频计算的空字典

第三步：对文本的每一行计算词频，如果文章长度一般，则不需用一次读一行，一次便可读完。

第四步：从字典中获取数据对到列表中

第五步：对列表中的数据对交换位置，并从大到小进行排序

第六步：输出结果

下图所示为程序输出结果及输出的统计结果

                                         

汉字的词频统计、排除特定词集合的程序后续更新...

普通版本

def getText():  
    txt=open('hamlet.txt','r').read()  
    txt=txt.lower()  
    for ch in "~@#$%^&*()_-+=<>?/,.:;{}[]|\'""":  
        txt=txt.replace(ch,' ')  
    return txt  
  
hamletTxt=getText()  
words=hamletTxt.split()  
counts={}  
sumcount = 0
for word in words:  
    counts[word]=counts.get(word,0)+1
    sumcount = sumcount + 1
items=list(counts.items())  
items.sort(key=lambda x:x[1],reverse=True)  
for i in range(10):  
    word,count=items[i]  
    print('{0:<10}{1:>5}'.format(word,count))  
  
 #将统计结果写入文本文件中  
outfile = open('词频统计结果.txt', "w")  
lines = []    
lines.append('单词种类：'+str(len(items))+'\n')  
lines.append('单词总数：'+str(sumcount)+'\n')  
lines.append('词频排序如下:\n')  
lines.append('word\tcounts\n')  
  
s= ''  
for i in range(len(items)):  
    s = '\t'.join([str(items[i][0]), str(items[i][1])])  
    s += '\n'    
    lines.append(s)  
print('\n统计完成！\n')  
outfile.writelines(lines)  
outfile.close()

排除特定词库

#排除词库
excludes = ['the','and','to','of','i','a','in','it','that','is',
            'you','my','with','not','his','this','but','for',
            'me','s','he','be','as','so','him','your']
def getText():    
    txt=open('hamlet.txt','r').read()    
    txt=txt.lower()    
    for ch in "~@#$%^&*()_-+=<>?/,.:;{}[]|\'""":    
        txt=txt.replace(ch,' ')       
    return txt    
    
hamletTxt=getText()    
words=hamletTxt.split()    
counts={}    
sumcount = 0  
for word in words:    
    counts[word]=counts.get(word,0)+1  
    sumcount = sumcount + 1 

counts_ex = counts.copy()    
for key in counts.keys():
    if key in excludes:
        counts_ex.pop(key)
items=list(counts_ex.items())    
items.sort(key=lambda x:x[1],reverse=True)    
for i in range(10):    
    word,count=items[i]    
    print('{0:<10}{1:>5}'.format(word,count))    
    
 #将统计结果写入文本文件中    
outfile = open('词频统计结果.txt', "w")    
lines = []      
lines.append('单词种类：'+str(len(items))+'\n')    
lines.append('单词总数：'+str(sumcount)+'\n')    
lines.append('词频排序如下:\n')    
lines.append('word\tcounts\n')    
    
s= ''    
for i in range(len(items)):    
    s = '\t'.join([str(items[i][0]), str(items[i][1])])    
    s += '\n'      
    lines.append(s)    
print('\n统计完成！\n')    
outfile.writelines(lines)    
outfile.close()

GUI版本

import tkinter as tk
from tkinter import ttk
from tkinter import scrolledtext
from tkinter import filedialog
from tkinter import messagebox as mBox

#获取原文内容
def getText(DIR):
    txt=open(DIR,'r').read()
    return txt
    txt.close()

#打开文件
def __opendir():
    srcText.delete('1.0', tk.END) # 先删除所有
        
    # 打开文件夹对话框
    fname = filedialog.askopenfilename(filetypes=( ("Text file", "*.txt*"),("HTML files", "*.html;*.htm")))
    entryvar.set(fname) # 设置变量entryvar，等同于设置部件Entry
        
    if not fname:
        mBox.showwarning('警告', message='未选择文件夹！')  # 弹出消息提示框

    #显示需要统计的文本
    Txt=getText(fname)
    srcText.insert(tk.END, Txt)
            
    srcText.update()
    
#手动输入文件名时回车键触发      
def srcEnter(event=None):
    
    fname=DirEntry.get()
    if not fname:
        mBox.showwarning('警告', message='请选择文件！')  # 弹出消息提示框
        
    Txt=getText(fname)
    srcText.insert(tk.END, Txt)
            
    srcText.update()

#词频统计
def wordFrequence():
    fname=DirEntry.get()
    if not fname:
        mBox.showwarning('警告', message='请选择文件！')  # 弹出消息提示框

    txt=getText(fname)
    
    #对原文进行小写，标点符号转换处理
    txt=txt.lower()
    for ch in '!"#$%&*()+,.-;:<=>?@[]\^_{}|`':
        txt=txt.replace(ch,' ')

    #词频统计
    words=txt.split()
    counts={} #用空字典存储统计结果
    for word in words:
        counts[word]=counts.get(word,0)+1

    #词频排序
    items=list(counts.items())
    items.sort(key=lambda x:x[1],reverse=True)

    #输出排序结果
    num=0
    for i in range(len(counts)):
        word,count=items[i]
        num=i*count+num


    dstText.insert(tk.END, '单词种类：')
    dstText.insert(tk.END, str(len(items)))
    dstText.insert(tk.END, '\n')
    dstText.insert(tk.END, '单词总数：')
    dstText.insert(tk.END, str(num))
    dstText.insert(tk.END, '\n')
    dstText.insert(tk.END, '词频排序如下:\n')
    dstText.insert(tk.END, '#word:\t\t#counts:\n')

    for i in range(len(counts)):
        word,count=items[i]
        dstText.insert(tk.END, word)
        dstText.insert(tk.END, '\t\t')
        dstText.insert(tk.END, count)
        dstText.insert(tk.END, '\n')

def savefile():
    # 打开文件夹对话框
    dirname = filedialog.askdirectory() 
    outvar.set(dirname) # 设置变量entryvar，等同于设置部件Entry
        
    if not dirname:
        mBox.showwarning('警告', message='请选择保存位置！')  # 弹出消息提示框

    fname=dirname+'\词频统计结果.txt'
    outfile = open(fname, "w")
    outfile.writelines(dstText.get(1.0,tk.END))
    outfile.close()
    mBox.showinfo('词频统计', '统计结果保存成功！')

def dstEnter(event=None):
    dirname=outvar.get()
    if not dirname:
        mBox.showwarning('警告', message='请选择保存位置！')  # 弹出消息提示框
    fname=dirname+'\词频统计结果.txt'
    outfile = open(fname, "w")
    outfile.writelines(dstText.get(1.0,tk.END))
    outfile.close()
    mBox.showinfo('词频统计', '统计结果保存成功！')
    
# Create instance
win = tk.Tk()   

# Add a title       
win.title("词频统计GUI")

# Disable resizing the GUI
win.resizable(0,0)


#---------------窗口控件介绍------------------#

#打开文件对话框
SelDirButton = ttk.Button(win, command=__opendir, text='选择文件目录：')
SelDirButton.grid(row=0, column=0,sticky=tk.W,pady=3,padx=3)

#文件的目录显示    
entryvar = tk.StringVar() 
DirEntry=ttk.Entry(win, width=30,textvariable=entryvar)
DirEntry.grid(row=1, column=0,sticky=tk.W,pady=3,padx=3)
DirEntry.bind('<Return>', func=srcEnter)

#文件内容的显示
srcText = scrolledtext.ScrolledText(win,width=30,height=30)#内容输出框
srcText.grid(row=2, column=0,columnspan=1,sticky=tk.W,pady=3,padx=3)

#词频统计按钮
CalcuButton = ttk.Button(win, command=wordFrequence, text='词频统计')
CalcuButton.grid(row=0, column=1,sticky=tk.W,pady=3,padx=3)

#统计结果显示
dstText = scrolledtext.ScrolledText(win,width=30,height=30)#内容输出框
dstText.grid(row=2, column=1,columnspan=2,sticky=tk.W,pady=3,padx=3)

#保存文件按钮
SavefileButton = ttk.Button(win, command=savefile, text='统计结果保存到：')
SavefileButton.grid(row=0, column=2,sticky=tk.W,pady=3,padx=3)

#保存文件目录
outvar = tk.StringVar() 
saveEntry=ttk.Entry(win, width=30,textvariable=outvar)
saveEntry.grid(row=1, column=1,columnspan=2,sticky=tk.W,pady=3,padx=3)
saveEntry.bind('<Return>', func=dstEnter)

     
#======================
# Start GUI
#======================
win.mainloop()