软工个人项目作业——论文查重系统

海绵箘

于 2023-03-08 17:20:00 发布

阅读量583

点赞数

文章标签：软件工程

本文链接：https://blog.csdn.net/weixin_66436494/article/details/129405581

版权

文章目录

作业信息

作业属于哪个课程	课程链接
这个作业要求在哪里	作业要求
这个作业的目标	个人编程、单元测试、性能分析、测试覆盖率、PSP表格
其他参考文献	SimHash的原理与实现

个人仓库

海绵君 / 3121005176 · GitCode

1.计算模块接口的设计与实现过程

类

PaperCheckMain：main 方法所在的类
HammingUtils：计算海明距离的类
SimHashUtils：计算 SimHash 值的类
TxtIOUtils：读写 txt 文件的工具类
ShortStringException：处理文本内容过短的异常类

函数调用流程

在这里插入图片描述

核心算法：simhash+海明距离

simHash算法原理
分词：根据文本分词形成这个文章的特征单词，剔除噪声词并给每个词加上权重

hash：通过hash函数计算各个特征向量（这里为划分好的词）的hash值。

加权：权重：就是词频；把第2步生成的hash值从左至右与权重进行运算；通过 2步骤的hash生成结果，需要按照单词的权重形成加权数字串。

合并：经过上述的三个步骤，我们可以得到全部词(word)的加权hash值，此时需要将全部的加权后的hash值进行累加;

降维：将第四步计算出来的序列串变为01串；

海明距离(Hamming Distance)：在信息编码中，两个合法代码对应位上编码不同的位数称为码距，又称海明距离；

参考文章：SimHash算法原理与实现

2.接口设计与实现

读写txt文件的模块

类：TxtIOUtils

包含了两个静态方法：

1、readTxt：读取txt文件

2、writeTxt：写入txt文件

SimHash模块

类：SimHashUtils

包含两个静态方法：

1、getHash：传入String，计算出它的hash值，并以字符串形式输出，（使用了MD5获得hash值）

2、getSimHash：传入String，计算出它的simHash值，并以字符串形式输出，（需要调用 getHash 方法）

getSimHash 是核心算法，主要流程如下：

1、分词（使用了外部依赖 hankcs 包提供的接口）

List<String> keywordList = HanLP.extractKeyword(str, str.length());//取出所有关键词

2、获取hash值

String keywordHash = getHash(keyword);
           if (keywordHash.length() < 128) {
               // hash值可能少于128位，在低位以0补齐
               int dif = 128 - keywordHash.length();
               for (int j = 0; j < dif; j++) {
                   keywordHash += "0";
               }
           }

3、加权、合并

for (int j = 0; j < v.length; j++) {
             // 对keywordHash的每一位与'1'进行比较
             if (keywordHash.charAt(j) == '1') {
                 //权重分10级，由词频从高到低，取权重10~0
                 v[j] += (10 - (i / (size / 10)));
             } else {
                 v[j] -= (10 - (i / (size / 10)));
             }
         }

4、降维

String simHash = "";// 储存返回的simHash值
        for (int j = 0; j < v.length; j++) {
            // 从高位遍历到低位
            if (v[j] <= 0) {
                simHash += "0";
            } else {
                simHash += "1";
            }
        }

海明距离模块

类：HammingUtils

包含两个静态方法：

1、getHammingDistance：输入两个 simHash 值，计算出它们的海明距离 distance。

for (int i = 0; i < simHash1.length(); i++) {
                // 每一位进行比较
                if (simHash1.charAt(i) != simHash2.charAt(i)) {
                    distance++;
                }
            }

2、getSimilarity：输入两个 simHash 值，调用 getHammingDistance 方法得出海明距离 distance，在由 distance 计算出相似度。

return 0.01 * (100 - distance * 100 / 128);

main模块

main 方法的主要流程：

从命令行输入的路径名读取对应的文件，将文件的内容转化为对应的字符串
根据字符串得出对应的 simHash值
由 simHash值求出相似度
把相似度写入最后的结果文件中
退出

3.接口部分性能改进

性能分析

Overview
方法调用

4.测试模块

读写txt文件模块

1、测试正常读取

2、测试正常写入

3、测试错误读取

4、测试错误写入

public class TxtIOUtilsTest {
    @Test
    public void readTxtTest() {
        // 路径存在，正常读取
        String str = TxtIOUtils.readTxt("D:/test/orig.txt");
        String[] strings = str.split(" ");
        for (String string : strings) {
            System.out.println(string);
        }
    }
    @Test
    public void writeTxtTest() {
        // 路径存在，正常写入
        double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
        for (int i = 0; i < elem.length; i++) {
            TxtIOUtils.writeTxt(elem[i], "D:/test/ans.txt");
        }
    }
    @Test
    public void readTxtFailTest() {
        // 路径不存在，读取失败
        String str = TxtIOUtils.readTxt("D:/test/none.txt");
    }
    @Test
    public void writeTxtFailTest() {
        // 路径错误，写入失败
        double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
        for (int i = 0; i < elem.length; i++) {
            TxtIOUtils.writeTxt(elem[i], "User:/test/ans.txt");
        }
    }
}

测试结果

SimHash模块

public class SimHashUtilsTest {
    @Test
    public void getHashTest(){
        String[] strings = {"余华", "是", "一位", "真正", "的", "作家"};
        for (String string : strings) {
            String stringHash = SimHashUtils.getHash(string);
            System.out.println(stringHash.length());
            System.out.println(stringHash);
        }
    }
    @Test
    public void getSimHashTest(){
        String str0 = TxtIOUtils.readTxt("D:/test/orig.txt");
        String str1 = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
        System.out.println(SimHashUtils.getSimHash(str0));
        System.out.println(SimHashUtils.getSimHash(str1));
    }
}

测试结果

代码覆盖率

海明距离模块

public class HammingUtilsTest {
    @Test
    public void getHammingDistanceTest() {
        String str0 = TxtIOUtils.readTxt("D:/test/orig.txt");
        String str1 = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
        int distance = HammingUtils.getHammingDistance(SimHashUtils.getSimHash(str0), SimHashUtils.getSimHash(str1));
        System.out.println("海明距离：" + distance);
        System.out.println("相似度: " + (100 - distance * 100 / 128) + "%");
    }
}

测试结果

代码覆盖率

MainTest 模块

public class MainTest {
    @Test
    public void origAndAllTest(){
        String[] str = new String[6];
        str[0] = TxtIOUtils.readTxt("D:/test/orig.txt");
        str[1] = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
        str[2] = TxtIOUtils.readTxt("D:/test/orig_0.8_del.txt");
        str[3] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_1.txt");
        str[4] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_10.txt");
        str[5] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_15.txt");
        String ansFileName = "D:/test/ansAll.txt";
        for(int i = 0; i <= 5; i++){
            double ans = HammingUtils.getSimilarity(SimHashUtils.getSimHash(str[0]), SimHashUtils.getSimHash(str[i]));
            TxtIOUtils.writeTxt(ans, ansFileName);
        }
    }
}

测试结果

在这里插入图片描述

PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	30	30
· Estimate	估计这个任务需要多少时间	500	650
Development	开发	350	500
· Analysis	· 需求分析 (包括学习新技术)	60	80
· Design Spec	生成设计文档	25	25
Design Review	设计复审	30	40
Coding Standard	代码规范 (为目前的开发制定合适的规范)	20	20
Design	具体设计	20	30
· Coding·	具体编码	60	100
Code Review	· 代码复审	60	50
Test	· 测试（自我测试，修改代码，提交修改)	70	60
Reporting	报告	120	100
Test Repor ·	测试报告	60	100
Size Measurement	· 计算工作量	20	50
Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	30	30
	合计	1455	1865