文章目录
一、作业说明
作业社区 | 软工课程 |
---|---|
作业要求 | 论文查重 |
作业目标 | 完整地完成一个项目&学会使用PSP表格 |
参考文献 | CSDN |
二、需求分析
题目:论文查重
描述如下:
设计一个论文查重算法,给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件,在答案文件中输出其重复率。
原文示例:今天是星期天,天气晴,今天晚上我要去看电影。
抄袭版示例:今天是周天,天气晴朗,我晚上要去看电影。
要求输入输出采用文件输入输出,规范如下:
从命令行参数给出:论文原文的文件的绝对路径。
从命令行参数给出:抄袭版论文的文件的绝对路径。
从命令行参数给出:输出的答案文件的绝对路径。
我们提供一份样例(提取码:oogi),使用方法是:orig.txt是原文,其他orig_add.txt等均为抄袭版论文。
注意:答案文件中输出的答案为浮点型,精确到小数点后两位
三、框架流程
四、函数模块
4.1读写txt文件的模块
TxtlOUtil类
包含两个静态方法:
1、readTxt:读取txt文件
2、writeTxt:写入txt文件
实现:都是调用 Java.io 包提供的接口
4.2 SimHash模块
SimHashUtil类
包含了两个静态方法:
1、getHash:传入String,计算出它的hash值,并以字符串形式输出(使用了MD5获得hash值)
2、getSimHash:传入String,计算出它的simHash值,并以字符串形式输出(需要调用 getHash 方法)
getSimHash 是核心算法,主要流程如下:
(1)使语句分割为若干个个关键词
List<String> keywordList = HanLP.extractKeyword(str, str.length());//取出所有关键词
(2)得出哈希值
String keywordHash = getHash(keyword);
if (keywordHash.length() < 128) {
// hash值可能少于128位,在低位以0补齐
int dif = 128 - keywordHash.length();
for (int j = 0; j < dif; j++) {
keywordHash += "0";
}
}
(3)将关键词分出权重并重整语句
for (int j = 0; j < v.length; j++) {
// 对keywordHash的每一位与'1'进行比较
if (keywordHash.charAt(j) == '1') {
//权重分10级,由词频从高到低,取权重10~0
v[j] += (10 - (i