软工个人项目——Word frequency program

一、工程结构设计

工程的开发包括以下几个阶段：代码编写，程序优化，测试与调试。

代码可以从功能上分成下面几个部分：

1、文件夹中各个部分的遍历及文件格式判断，预计用时2小时

2、从文件内容中提取出合法的单词，预计用时1小时

3、simple模式的词频统计，预计用时30分钟

4、extend模式的词频统计，预计用时1小时

5、结果排序与输出，预计用时1小时

在测试与调试部分中，需要设计测试用例，并针对问题进行调试和解决问题，预计用时1.5小时

程序优化须与程序性能相关，预计用时在3小时。

二、工程开发实际用时

1、代码编写阶段

（1）文件夹遍历及文件格式判断，用时1.5小时

（2）从文件内容中提取出合法的单词，使用正则表达式，因为对正则表达式掌握不够熟练，用时1.5个小时

（3）词频统计，将simple模式与extend模式合二为一，使用一个函数实现，共计用时1小时

（4）排序与输出，用时30分钟

2、测试调试阶段

（1）编写测试用例，耗时20分钟

（2）根据用例进行调试，耗时40分钟。

3、程序优化阶段

共计用时3.5个小时

三、程序优化

      在程序优化方面，共计花费了3.5个小时。因为在优化时需要大量的数据对程序进行测试，于是我从网上获取txt格式的英文小说作为单词来源，对程序进行压力测试。

       图为所使用的文档的参数。

       第一个版本中，我使用C#中的List类型对字典进行存储，通过性能分析，我们得到下图：

       由图片我们可以清楚的看到，运行时间在26.5s，主要性能瓶颈在List.IndexOf函数，和我编写用来进行字符串比较的wordCompare函数。

性能瓶颈处的代码如下：

 

private void countWord(string content)
        {
            Regex r = new Regex("[^A-Za-z0-9][A-Za-z]{4}[A-Za-z0-9]*");
            content = " " + content;
            MatchCollection words = r.Matches(content);
            for (int i = 0; i < words.Count; i++ )
            {
                
                string segment = words[i].ToString().Substring(1);
                //Console.WriteLine(segment);
                bool p = false;
                //foreach (word x in wordList)
                for (int j = 0; j < wordList.Count; j++ )
                {
                    word x = wordList[j];
                    if (wordCompare(x, segment, mode) == 0)
                    {
                        word a = new word();
                        a.num = x.num + 1;
                        if (wordCompare(x, segment, 2) < 0)
                            a.value = x.value;
                        else
                            a.value = segment;

                        wordList.Remove(x);
                        wordList.Add(a);
                        p = true;
                        break;
                    }
                }
                if (!p)
                {
                    word a = new word();
                    a.value = segment;
                    a.num = 1;
                    wordList.Add(a);
                }
                
            }
            
        }

 

       经过反复的查看代码与分析，我并没显示的找到使用IndexOf函数的地方，故我分析，IndexOf函数的使用与List格式密切相关，我个人认为在对wordList进行遍历的时候，程序内部调用了IndexOf函数，造成了大量时间的浪费。于是我想能否使用静态大数组来替换List，使用较为廉价的空间换取性能上的提高。

       于是我将wordList转换成了数组类型，再次进行性能测试，得到不错的结果：

       我们可以清楚的看到，时间从原来的26s缩减到了5s，性能瓶颈也变成了我所编写的字符串比较部分。该段程序如下：

private int wordCompare(word a, string b, int mode)
        {
            if (mode == 0)
            {
                string x = a.value.ToUpper();
                string y = b.ToUpper();
                if (x.Length != y.Length) return 1;
                else return string.CompareOrdinal(x, y);
            }
            else if (mode == 1)
            {
                string x = a.value.ToUpper();
                string y = b.ToUpper();
                int l = (x.Length < y.Length) ? x.Length : y.Length;
                string z = (x.Length < y.Length) ? y : x;
                bool pan = true;
                for (int i = 0; i < l; i++)
                {
                    char p = x[i];
                    char q = y[i];
                    if (p != q)
                        if (char.IsLetter(p) || char.IsLetter(q))
                        {
                            pan = false;
                            break;
                        }
                }
                for (int i = l; i < z.Length; i++)
                {
                    char p = z[i];
                    if (char.IsLetter(p))
                        pan = false;
                }
                if (pan) return 0;
                else return 1;
            }
            else
            {
                return string.CompareOrdinal(a.value, b);
            }
        }

程序中，mode=1代表simple模式，mode=2代表extend模式，其时间消耗为O（n），但因其比较次数过多，故时间消耗过大，我个人认为可以通过Hash的方法来减少时间消耗，但因水平有限，并未找到较为理想的Hash函数。

共计用时3.5个小时

四、测试用例

1、测试空文件夹

2、测试多个文件中相同内容，看程序能否正确统计

3、大规模文本，进行压力测试

4、大规模文本，进行压力测试

5、空文本测试

6、数字开头文件，不合法单词测试

7、不同格式文件测试

8、针对extend模式，测试后缀不同数字的情况

9、测试特殊字符对分词的影响

10、针对字典序的测试

五、收获与感想

       这次工程是我第一次正式接触C#这门语言，相比C++而言，C#更加的易用，但就个人感觉，认为C#并不如Java好实用，一些函数的设计与传统的观念不太一样，令人费解。

       总的来说，通过这次的工程，我学习到了很多新鲜的知识，虽然做的比较仓促，所幸最后成功的完成了代码。

转载于:https://www.cnblogs.com/wddwxy/p/3327749.html