第一次个人编程作业

这个作业属于哪个课程	广工2023软件工程课程
这个作业要求在哪里	个人项目作业-论文查重
GitCode地址	https://gitcode.net/qq_61983305/3121005215.git

一、仓库地址

Github地址->3121005215

二、PSP表

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	60	45
· Estimate	· 估计这个任务需要多少时间	930	1145
Development	开发	805	1015
· Analysis	· 需求分析 (包括学习新技术)	240	340
· Design Spec	· 生成设计文档	30	50
· Design Review	· 设计复审	15	15
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	10	10
· Design	· 具体设计	30	40
· Coding	· 具体编码	300	370
· Code Review	· 代码复审	60	40
· Test	· 测试（自我测试，修改代码，提交修改）	120	150
Reporting	报告	125	130
· Test Report	· 测试报告	20	20
· Size Measurement	· 计算工作量	15	10
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	90	100
	· 合计	930	1145

三、设计与实现

3.1 读写txt文件的模块

类： TxtlOUtils
包含两个静态方法：
1、readTxt：读取txt文件
2、writeTxt：写入txt文件
实现：都是调用 Java.io 包提供的接口

3.2 SimHash模块（核心模块）

类：SimHashUtils

包含了两个静态方法：
（1）getHash：传入String，计算出它的hash值，并以字符串形式输出，（使用了MD5获得hash值）
（2）getSimHash：传入String，计算出它的simHash值，并以字符串形式输出，（需要调用 getHash 方法）
getSimHash 是核心算法，主要流程如下：
（1）分词（使用了外部依赖 hankcs 包提供的接口）

List<String> keywordList = HanLP.extractKeyword(str, str.length());//取出所有关键词

（2）获取hash值

String keywordHash = getHash(keyword);
           if (keywordHash.length() < 128) {
               // hash值可能少于128位，在低位以0补齐
               int dif = 128 - keywordHash.length();
               for (int j = 0; j < dif; j++) {
                   keywordHash += "0";
               }
           }

（3）加权合并

for (int j = 0; j < v.length; j++) {
             // 对keywordHash的每一位与'1'进行比较
             if (keywordHash.charAt(j) == '1') {
                 //权重分10级，由词频从高到低，取权重10~0
                 v[j] += (10 - (i / (size / 10)));
             } else {
                 v[j] -= (10 - (i / (size / 10)));
             }
         }

（4）降维

String simHash = "";// 储存返回的simHash值
        for (int j = 0; j < v.length; j++) {
            // 从高位遍历到低位
            if (v[j] <= 0) {
                simHash += "0";
            } else {
                simHash += "1";
            }
        }

3.3 海明距离模块

类：HammingUtils
包含了两个静态方法：
1、getHammingDistance：输入两个 simHash 值，计算出它们的海明距离 distance

for (int i = 0; i < simHash1.length(); i++) {
                // 每一位进行比较
                if (simHash1.charAt(i) != simHash2.charAt(i)) {
                    distance++;
                }
            }

2、getSimilarity：输入两个 simHash 值，调用 getHammingDistance 方法得出海明距离 distance，在由 distance 计算出相似度

return 0.01 * (100 - distance * 100 / 128);

3.4 main主模块

main 方法的主要流程：
从命令行输入的路径名读取对应的文件，将文件的内容转化为对应的字符串
由字符串得出对应的 simHash值
由 simHash值求出相似度
把相似度写入最后的结果文件中
退出程序

四、接口部分的性能改进

4.1 性能分析

Overview

从分析图可以看到：

调用次数最多的是com.hankcs.hanlp包提供的接口， 即分词、取关键词与计算词频花费了最多的时间。

所以在性能上基本没有什么需要改进的。

五、单元测试

5.1 读写txt文件的模块的测试

基本思路：
1、测试正常读取
2、测试正常写入
3、测试错误读取
4、测试错误写入

public class TxtIOUtilsTest {
    @Test
    public void readTxtTest() {
        // 路径存在，正常读取
        String str = TxtIOUtils.readTxt("D:/test/orig.txt");
        String[] strings = str.split(" ");
        for (String string : strings) {
            System.out.println(string);
        }
    }
    @Test
    public void writeTxtTest() {
        // 路径存在，正常写入
        double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
        for (int i = 0; i < elem.length; i++) {
            TxtIOUtils.writeTxt(elem[i], "D:/test/ans.txt");
        }
    }
    @Test
    public void readTxtFailTest() {
        // 路径不存在，读取失败
        String str = TxtIOUtils.readTxt("D:/test/none.txt");
    }
    @Test
    public void writeTxtFailTest() {
        // 路径错误，写入失败
        double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
        for (int i = 0; i < elem.length; i++) {
            TxtIOUtils.writeTxt(elem[i], "User:/test/ans.txt");
        }
    }
}

测试结果

代码覆盖率

5.2 SimHash模块的测试

public class SimHashUtilsTest {
    @Test
    public void getHashTest(){
        String[] strings = {"余华", "是", "一位", "真正", "的", "作家"};
        for (String string : strings) {
            String stringHash = SimHashUtils.getHash(string);
            System.out.println(stringHash.length());
            System.out.println(stringHash);
        }
    }
    @Test
    public void getSimHashTest(){
        String str0 = TxtIOUtils.readTxt("D:/test/orig.txt");
        String str1 = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
        System.out.println(SimHashUtils.getSimHash(str0));
        System.out.println(SimHashUtils.getSimHash(str1));
    }
}

测试结果

代码覆盖率

5.3 海明距离模块的测试

public class HammingUtilsTest {
    @Test
    public void getHammingDistanceTest() {
        String str0 = TxtIOUtils.readTxt("D:/test/orig.txt");
        String str1 = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
        int distance = HammingUtils.getHammingDistance(SimHashUtils.getSimHash(str0), SimHashUtils.getSimHash(str1));
        System.out.println("海明距离：" + distance);
        System.out.println("相似度: " + (100 - distance * 100 / 128) + "%");
    }
}

测试结果

代码覆盖率

六、异常处理

6.1 设计与实现

当文本长度太短时，HanLp无法取得关键字，需要抛出异常。

        try{
            if(str.length() < 200) throw new ShortStringException("文本过短！");
        }catch (ShortStringException e){
            e.printStackTrace();
            return null;
        }

实现了一个处理这个异常的类：ShortStringException（继承了Exception）

public ShortStringException(String message) {
        super(message);
    }

测试结果