此作业的要求参见:https://edu.cnblogs.com/campus/nenu/2018fall/homework/2126
此作业的代码参见:https://coding.net/u/lew666/p/zuoye/git
词频统计 SPEC 20180918
功能需求:
制作一个程序,支持命令行参数,可以统计英文文本的单词总数,各个单词的出现频数,可以同时统计多个文件并统计出现最多的十个单词。
程序实现的语言:python
难点1:如何读取文件?
利用 open() 函数打开一个文件,创建一个 file 对象,相关的方法才可以调用它进行读写。open()函数的语法是:
open(name[, mode[, buffering]]
name是你要访问的文件名称的字符串值,mode是你打开文件的模式,我采用了模式r,以只读方式打开文件,buffering为寄存区的缓冲大小。
难点2:如何实现访问多个文件?
要同时统计多个文档,要把这个文档的路径进行赋值,直接用函数调用这个文档。
代码:
file_name1='E:\\python_work1\\gongneng1.txt' file_name2='E:\\python_work1\\gongneng3.txt'
难点3:功能实现。
利用python的re库和collections库里的方法。
第一个函数是算单词总数。
代码:
def counts(file_name): total=0 file=open(file_name,"r") for line in file.readlines(): //依次读取每行 words=line.split(' ') //以空格为分隔符分割每行的单词,并返回字符串列表 total+=len(words) //计算每行的单词数,然后得出一个总数 print ("total",total) //输出文档的所有单词
第二个函数是算相同单词出现的次数。
代码:
def count_words(file_name):
patt = re.compile("\w+")//正则表达式
count = collections.Counter(patt.findall( //counter类用来跟踪值出现的次数,findall()方法返回file_name的一个字符串列表
open(file_name,'rt').read())) //在'rt'模式python在读取文本时会自动把\r\n转换成\n.
for word, show in count.most_common(): //用word变量记录单词,用show变量记录单词出现的频数,返回一个topn列表,其中不对count.most_common(n)的n指定参数,返回所有元素
print (word, show)
第三个函数是算出现最高的相同单词次数的前十个。
代码:
def top_10(file_name):
patt = re.compile("\w+")
count = collections.Counter(patt.findall(
open(file_name,'rt').read()))
for word, show in count.most_common(10)://其中对count.most_common(n)的n指定为10,返回出现相同单词次数最多的10个
总结:
这周实战我觉得对我意义很大,并且也很打击我。在我看来,一开始觉得做这个应该还好,慢慢学,然后做出来,实际上不知所措,走了特别多的弯路,因为之前并没有多少工程上的经历,代码基础又不太好,这周,天天跟我室友张宇研究怎么实现,看着一天一天的流逝,确实真的有在学习,但是并没有什么进展,技术方向都是弯路,挨个试。这门课对我来说是一个全新的方式,我也深知是我自身的能力不行,每天都特别愁,总想着超车,真的要方平自己的野心,一点一点来,积累下来,会学到很多很多。这周作业完成的不但没有实现老师的提出的功能,有的功能还不符合老师的要求,但是我真的努力了。
功能1实现图:
功能2实现图:
功能3实现图:
PSP阶段表格:
PSP阶段 | 预计花费时间 | 实际花费时间 | 差距 | 原因 |
功能1 | 120min | 482min | 362min | 确定用C语言来写这个程序,回顾了一下C语言的知识点,并安装了VS,之前有vc6.0,在网上看了很多文档,写了一个程序命令行跑不出来,我直接用(int argc,char *argv[]),判断输入为三个参数的时候就执行,感觉不对,VS环境一直出错,一直提示我有错误,后来放弃了,改用python语言去写第一个功能,在RUNOOB0.COM看了基础教程,学习了它的库函数废了很长时间。 |
测试功能1 | 15min | 40min | 25min | 用C调试了好久,都没成功,测试数据比较离谱,废了很长时间,后来用python测试,实现了功能。 |
功能1 | 180min | 411min | 231min | 不知道怎么用参数在控制台输入,查了很多教程都没查到,功能能实现,无法用参数去实现,一直卡顿在这个问题上。 |
测试功能2 | 30min | 64min | 34min | 测试的时候结果不对,来回跑,换小说跑,有的对有的不对,有的多了,有的少了,到现在为止也不知道问题出在哪里。 |
功能3 | 60min | 211min | 15min | 对这个问题的分析时,我觉得用形参多添加打开路径,然后用什么方法一下子给它提出来前10多的就行,想简单了,从网上查文档学习了很长时间。 |
测试功能3 | 15min | 21min | 6min | 一开始得到的结果跟我想得到的不一样,后来又改了格式,测试了多个文档看是否成功。 |
功能4 | 200min | 234min | 34min | 这个功能没实现,实在不知道怎么做,当时读功能就没明白,咨询学长,同学。最后我自己也没整明白。 |
测试功能4 | 0min | 0min | 0min | 没有实现,所以无法测试。 |