福大软工1816 · 第二次作业-个人项目-CSDN博客

Part 1.卷首语

本次的开发环境

Windows 10 64bit + Eclipse + JProfiler

Part 2.PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	---	---
· Estimate	· 估计这个任务需要多少时间	10	20
Development	开发
· Analysis	· 需求分析 (包括学习新技术)	120	150
· Design Spec	· 生成设计文档	20	30
· Design Review	· 设计复审	10	20
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	20	20
· Design	· 具体设计	60	40
· Coding	· 具体编码	700	1320
· Code Review	· 代码复审	30	30
· Test	· 测试（自我测试，修改代码，提交修改）	30	60
Reporting	报告
· Test Repor	· 测试报告	40	60
· Size Measurement	· 计算工作量	20	20
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	20	60
	合计	1080	1830

Part 3.解题思路

首先问题的大致要求是需要统计文本中的各参数数量与词频，整体的先后思路如下：

1.首先要做的事情就是将.txt中的文本转换为可操作的字符串(结果还需要写入.txt文件中)，这个过程关系到文件流操作；
2.对于可操作的字符串，要对其进行筛选、转化、切割、选择(开头4个字母后含若干个字母数字的形式)；
3.对于处理后的单词集，需要对其进行词频统计，并在统计结束后排序好先后顺序传回主函数，基本任务完成。

Part 4.实现过程

countChar:负责字符数的统计；
countVec:负责单词数的统计；
countLine:负责行数的统计；
createMap：负责处理HashMap词频表的建立

Part5.关键代码展示

简单的列出主要花费自己心思去写的两部分代码，其余的详细请见github上的源码。
对于单词的选择，我主要利用的是正则匹配的方式来选择，先将内部不符合的元素用某一符号代替，而这一符号将作为下一次分隔符标志，利用Pattern和Matcher去除非英文数字字符，而后进一步对单词的样式进行约束，对于符合正则表达式的单词加入列表中提供给后续使用

public static int countwords(int count,String text){
        list.clear();   //做初始化清空字符集处理
        String regex ="[^0-9a-zA-Z]";   //剔除文本中的非字母和数字的部分并以！作为暂时的分隔符
        Pattern pat = Pattern.compile(regex);
        Matcher mat = pat.matcher(text);
        text = mat.replaceAll("!");             
        String [] textArray = text.split("!+");     //按照分隔符划分
        String v_regex = "^[a-z]{4}[a-z0-9]*$";     //对单词形式进行约定
        for(String i:textArray){
            Pattern v_pat = Pattern.compile(v_regex);
            Matcher v_mat = v_pat.matcher(i);
            if(v_mat.matches())
                list.add(i);
        }
        return list.size();
    }

对于词频分类和统计，这里利用了HashMap，简单且易查找，<Key,Value>的形式很好的记录了<单词本身，出现次数>这样的记录。最后将记录好的Map进行排序，按照题给要求，先以Value值做参考，在Value值相同的情况下，以Key值优先为准。

public static List<Map.Entry<String,Integer>> createHashMap(List<String>list){
        Map<String,Integer> ver = new HashMap<String, Integer>();
        for(String i:list){
            if(!ver.containsKey(i))
                ver.put(i, 1);
            else{
                Integer num = ver.get(i);
                ver.put(i, num+1);
            }
        }
        List<Map.Entry<String,Integer>> verlist = new ArrayList<Map.Entry<String,Integer>>(ver.entrySet());
        Collections.sort(verlist,new Comparator<Map.Entry<String, Integer>>(){
            public int compare(Map.Entry<String, Integer> o1,Map.Entry<String, Integer> o2) {
                if(o1.getValue()==o2.getValue()){
                    return (o1.getKey()).compareTo(o2.getKey());
                }
                return o2.getValue()-o1.getValue();
            }
        });
        return verlist;
    }

下面主要是我对于IO操作的异常进行处理的基本形式

public static int countChar(String path,int count) throws IOException{
        try {
            ...
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        }finally{
            ...
        }
        return count;
    }

Part6.性能分析

以下主要是调用各个不同类中的接口，所以Main中的覆盖率会为0，整体的情况符合正常的操作结果。

进行单元测试的过程中，可通过如下的报错来寻找自己的疏漏之处，每一环节都能够很好的定位到。

Part7.感想

有了初步的构思以后，边学习边敲java代码，实践中去逐步的完善自己，总体来说，我对自己的表现还是挺满意的。过程中接触了单元测试，找到了自己许多原先疏漏的小细节，在逐步改进之下完善着自己的代码。怎么说呢，可能还是自己的慢性子的原因，每天都在投入时间去边敲边改，但是很遗憾，得出最终成果的时间还是压到了接近与deadline之前一些些，所以我对自己下一次任务的期望是自己能够有更高的效率，达到更好的效果，以上。

也希望大家能够对我提出宝贵的意见，谢谢大家，小废的程序员之路道阻且长......

Part8.后记

后续在完成作业以后，看到了许多同学都有意识的去讨论测试数据的大小问题，所以自己也做了一下大型文本的测试，果然发现出错。总结一下自己得出的结论：String对于连接操作(“+”)效率很低，因此导致了我程序一直没办法正常运行，后改用StringBuilder,利用.append()方法来进行文本的逐行拼接，成功解决了上述所困扰我的问题。(更新代码内容详见github源码部分)，后续将会对为什么String效率低的问题分析好后作出解释，暂告一段落，谢谢(附上大型数据测试情况)
这里简单的结合office word自带的字数统计功能校验如下：