第一次编程作业

本文档介绍了一个用于论文查重的编程作业,详细阐述了需求、框架、函数模块和单元测试。作业要求设计一个算法,计算原文与抄袭版论文的重复率,通过SimHash算法和海明距离计算相似度。主要涉及读写txt文件、SimHash计算及海明距离计算的实现,并提供了单元测试以验证功能的正确性。
摘要由CSDN通过智能技术生成

一、作业说明

作业社区 软工课程
作业要求 论文查重
作业目标 完整地完成一个项目&学会使用PSP表格
参考文献 CSDN

二、需求分析

题目:论文查重

描述如下:

设计一个论文查重算法,给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件,在答案文件中输出其重复率。

原文示例:今天是星期天,天气晴,今天晚上我要去看电影。
抄袭版示例:今天是周天,天气晴朗,我晚上要去看电影。
要求输入输出采用文件输入输出,规范如下:

从命令行参数给出:论文原文的文件的绝对路径。
从命令行参数给出:抄袭版论文的文件的绝对路径。
从命令行参数给出:输出的答案文件的绝对路径。

我们提供一份样例(提取码:oogi),使用方法是:orig.txt是原文,其他orig_add.txt等均为抄袭版论文。

注意:答案文件中输出的答案为浮点型,精确到小数点后两位


三、框架流程

流程图


四、函数模块

4.1读写txt文件的模块

TxtlOUtil类
包含两个静态方法:
1、readTxt:读取txt文件
2、writeTxt:写入txt文件
实现:都是调用 Java.io 包提供的接口

4.2 SimHash模块

SimHashUtil类
包含了两个静态方法:
1、getHash:传入String,计算出它的hash值,并以字符串形式输出(使用了MD5获得hash值)
2、getSimHash:传入String,计算出它的simHash值,并以字符串形式输出(需要调用 getHash 方法)

getSimHash 是核心算法,主要流程如下:

(1)使语句分割为若干个个关键词

List<String> keywordList = HanLP.extractKeyword(str, str.length());//取出所有关键词

(2)得出哈希值

String keywordHash = getHash(keyword);
           if (keywordHash.length() < 128) {
   
               // hash值可能少于128位,在低位以0补齐
               int dif = 128 - keywordHash.length();
               for (int j = 0; j < dif; j++) {
   
                   keywordHash += "0";
               }
           }

(3)将关键词分出权重并重整语句

for (int j = 0; j < v.length; j++) {
   
             // 对keywordHash的每一位与'1'进行比较
             if (keywordHash.charAt(j) == '1') {
   
                 //权重分10级,由词频从高到低,取权重10~0
                 v[j] += (10 - (i 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值