结对第二次—文献摘要热词统计及进阶需求-CSDN博客

这个作业属于哪个课程	软件工程1916\|W(福州大学)
这个作业要求在哪里	结对第二次—文献摘要热词统计及进阶需求
结对学号	221600117\|221600122
这个作业的目标	实现一个能够对文本文件中的单词的词频进行统计的控制台程序。
Github仓库地址	基础部分github\|进阶部分github

1.Github的代码签入记录

2.具体分工

我们两个在这次作业中一起实现了基础部分的实现，每个人写了两个功能，我主要负责基础部分代码的编写和单元测试部分，还有git的使用方法的学习，基础部分博客编写。

队友主要负责进阶部分的代码编写与相关部分的博客。

3.PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划
• Estimate	• 估计这个任务需要多少时间	480
Development	开发
• Analysis	• 需求分析 (包括学习新技术)	120	150
• Design Spec	• 生成设计文档	15	20
• Design Review	• 设计复审	10	5
• Coding Standard	• 代码规范 (为目前的开发制定合适的规范)	5	1
• Design	• 具体设计	20	10
• Coding	• 具体编码	180	240
• Code Review	• 代码复审	30	10
• Test	• 测试（自我测试，修改代码，提交修改）	60	60
Reporting	报告
• Test Report	• 测试报告	20	15
• Size Measurement	• 计算工作量	10	5
• Postmortem & Process Improvement Plan	• 事后总结, 并提出过程改进计划	10	5
	合计	480	521

4.解题思路

首先拿到题目后，看完了整个题目后，感觉基础部分实现起来并不是特别困难，我们就准备第二天开始着手解决基础部分的代码。我先学习了git的使用方法，通过百度找一些别人写的博客了解了git的基本使用方法。这部分花了一上午的时间。

在接下来就是对于代码实现题目的思考。看到题目要求对字符进行处理统计，就决定使用C++来实现，因为C++对字符的操作更加简单，也不需要特别复杂的操作。

找资料的过程就是通过在网上搜索一些c++中对字符处理的函数方法，距离上次使用C++已经有一段时间了，这次正好复习了一下C++。

看到需求中有要求对代码进行单元测试，还有进行性能分析。这些以前都没有做过，所以学起来也花了一部分时间。网上对于这两部分的讲解资料并不是特别多。

5.设计实现过程

因为题目中有要求对接口的封装:

大家的代码都各有特色，如果现在我们要把这个功能放到不同的环境中去（例如，命令行，Windows图形界面程序，网页程序，手机App），就会碰到困难：代码散落在各个函数中，很难剥离出来作为一个独立的模块运行以满足不同的需求。

几个功能独立出来，成为一个独立的模块(class library, DLL, 或其它)，这样的话，命令行和GUI的程序都能使用同一份代码。为了方便起见，我们称之为计算核心"Core模块"，这个模块至少可以在几个地方使用：

命令行测试程序使用
在单元测试框架下使用
与数据可视化部分结合使用

所以就决定使用四个函数，分别来实现对文章字符数量的统计，对文章单词数的统计和对文章行数的统计，以及前十高词频的单词统计。

如图，在需求一种，countChar,countLine,countWord,sortWord分别对应四个功能，在主程序Word Count中可以直接调用。在设计函数的时候并没有设计流程图，因为他们都是独立的单元，先实现了最简单的功能，然后后面的函数构造都按第一个实现好的函数的形式写就可以。

单元测试的部分通过对各个函数进行了测试，每个函数用了三组不同的输入数据。一共设计了四个测试函数，对一下情况进行了测试：

测试字符数是否正确
统计单词数是否正确
测试行数是否正确
测试如果是不存在的文件
测试如果是空文件

算法设计过程

需求一

这是统计单词数量的算法流程图，题目中要求统计文件的单词总数，单词：至少以4个英文字母开头，跟上字母数字符号，单词以分隔符分割，不区分大小写。于是就需要记录单词开头的字母数量，来进行判断。如果超过了四个以上的字母，说明该字符串为单词，如果读到了分隔符，单词数就加一。开头字母数从头开始计算，读到数字如果已经不构成单词，就把标志位设为-1。

这是对词频进行排序的流程图。因为无法直接对map直接进行排序，所以用到了vector中的pair，把map加入到vector中来进行排序再进行输出。

统计单词数的代码

while((ch = fgetc(file)) != EOF)
    {
        if (ch >= 'a' && ch <= 'z' || ch >= 'A' && ch <= 'Z')
        {
            if (f >= 0)//单词前四位是字母
                f++;
            else//单词前字母不足四位，后面字母不记录
                f = -1;
        }
        else if (ch >= '0' && ch <= '9' && f < 4)//开头不足四位字母，不算单词
        {
            f = -1;
        }
        else//读到分隔符
        {
            if (f >= 4)
                cnt++;
            f = 0;
        }
    }
    //若最后一个单词符合条件且到文件末尾
    if (f >= 4)
        cnt++;

统计行数的代码

while ((ch = fgetc(file)) != EOF)
    {
        //遇到换行符
        if (ch == '\n')
        {
            //本行内容为非空字符
            if (f > 0)
                cnt++;
            f = 0;
        }
        //遇到非空字符
        else if(ch != ' ' && ch != '\t')
            f++;
    }
    //最后一行不含回车符，特殊判断
    if (f > 0)
        cnt++;

统计字符数的代码

while(fgetc(file) != EOF)
    {
        cnt++;
    }

排出前十词频的单词代码

while ((ch = fgetc(file)) != EOF)
    {
        if (ch >= 'a' && ch <= 'z' || ch >= 'A' && ch <= 'Z')
        {
            if (ch >= 'A' && ch <= 'Z')
            {
                ch += ('a' - 'A');
            }
            if (f >= 0)//单词前四位是字母
            {
                f++;
                temp += ch;
            }
            else//单词前字母不足四位，后面字母不记录
                f = -1;
        }
        else if (ch >= '0' && ch <= '9')//开头不足四位字母，不算单词
        {
            if (f < 4)
                f = -1;
            else
                temp += ch;
        }
        else//读到分隔符
        {
            if (f >= 4)
            {
                cnt++;
                wmap[temp]++;               
            }
            f = 0;
            temp = "";
        }
    }
    if (f >= 4)
    {
        cnt++;
        wmap[temp]++;
    }
    MapSortOfValue(vec, wmap);

需求二

爬虫：使用java的jsoup库爬取HTML文档，然后生成DOM文档。在DOM树上，寻找到每一篇论文中的href链接发送请求，对于收到的文本中，解析出需要的Title和Abstract内容。

除了统计词组相对于需求一有比较大的变化，其他都是在需求一上做更多的判除操作，对于序号以及论文中的Title与Abstract要不加入计算，所以统计字符时也要加入单词的判断，这些与需求一大致相同，就不多加赘述。

统计词组方面，主要难点是解决规定的词组长度截取以及注意不能跨越两个栏目，解决思路是：利用一个向量来模拟队列。规定队列长度为词组长度，新单词进入加入队尾，超过长度则抛出队头，当队伍长度等于词组长度时，队列就是保留一个合法词组。当遇到Title与Abstract时，队列清空，就可以做到不跨越两个栏目。剩下排序就和需求一相同。核心部分流程图如下：

核心代码如下：

//......
while ((ch = fgetc(file)) != EOF)
    {
        if (ch >= 'a' && ch <= 'z' || ch >= 'A' && ch <= 'Z')
        {
            if (ch >= 'A' && ch <= 'Z')
            {
                ch += ('a' - 'A');
            }
            if (f >= 0)//单词前四位是字母
            {
                f++;
                temp += ch;
            }
            else//单词前字母不足四位，后面字母不记录
                f = -1;
        }
        else if (ch >= '0' && ch <= '9')//开头不足四位字母，不算单词
        {
            if (f < 4)
                f = -1;
            else
                temp += ch;
        }
        else//读到分隔符
        {
            //当遇上title或者abstract时，模拟队列清空
            if (temp == "title" && temp == "abstract")
                que.clear();

            if (f >= 4 && temp != "title" && temp != "abstract")
            {
                que.push_back(temp);
                //维持词组的规定长度
                if (que.size() > Len)
                    que.erase(que.begin());
                //符合长度，加入词组map中
                if (que.size() == Len)
                {
                    tt = "";
                    k = 0;
                    for (vt = que.begin(); vt != que.end(); vt++)
                    {
                        k++;
                        tt += *vt;
                        if (k < Len)
                            tt += " ";
                    }
                    wmap[tt]++;
                }
            }
            f = 0;
            temp = "";
        }
    }
//......

6.需要改进的地方

在计算词频出现的时候，需要判断是否为单词，这部分和在统计单词数量的时候的代码有部分重合了，也就是说需要重复的计算相同的部分，会花掉一部分时间，这部分代码的设计存在着问题。

7.单元测试部分

部分代码如下

TEST_METHOD(TestMethod1)//测试字符数是否正确
{
    FILE *file;
    char* fn = "input1.txt";
    fopen_s(&file, fn, "r");
    int count = 102;
    Assert::AreEqual(countChar(fn), count);
}

这是一段测试字符数是否正确的代码，通过input1.txt的文件传入数据，然后验证字符数是否与预计数相等。