Java 文本内容差异对比实现介绍

已于 2022-04-27 16:27:43 修改
阅读量2.4w 收藏 151
点赞数 34
分类专栏： java
于 2021-12-02 17:11:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33697094/article/details/121681707
版权

java-diff-utils 文本差异 补丁 unifiedDiff Git diff算法
关键词由CSDN通过智能技术生成

目录

前言

本文是关于文本对比和通过diff算法的简单介绍，如果你想快速通过java+html或者纯JavaScript来实现两文件并排对比可看我另一篇文章：

文本对比，文本差异并排对比显示实现

一、文本差异对比介绍

在这里插入图片描述

举一个最常见的例子，我们使用git进行提交时，通常会使用git diff --cached来查看这次提交做了哪些改动，这里我们先简单定义一下什么是diff：diff就是目标文本和源文本之间的区别，也就是将源文本变成目标文本所需要的操作。

在 Git 中，有四种diff算法，分别是Myers、Minimal、Patience和Histogram，它们用于获取位于两个不同提交中的两个相同文件的差异。

Myers算法由Eugene W.Myers在1986年发表的一篇论文中提出，是一个能在大部分情况产生”最短的直观的“diff的一个算法。

文本差异对比涉及到的算法介绍 ：
How different are different diff algorithms in Git
Myers Diff 差分算法

好用的在线文本对比： 在线文本比较工具

好用的桌面文本对比软件：Meld、DiffMerge、xxdiff、Diffuse、Kompare

常见的文本差异对比库：

1.java-diff-utils

2.diff-match-patch

本文通过java-diff-utils库来实现文本差异对比

二、依赖下载

jar下载网址：io.github.java-diff-utils:java-diff-utils:4.11

官方git地址：java-diff-utils

官方demo示例： java-diff-utils Examples

如果你使用Maven:

<dependency>
  <groupId>io.github.java-diff-utils</groupId>
  <artifactId>java-diff-utils</artifactId>
  <version>4.11</version>
</dependency>

如果你使用Gradle:

implementation 'io.github.java-diff-utils:java-diff-utils:4.11'

本文下面会用到的三个对比文本如下：

test1.txt 和 test3.txt ：

_this.ispc = function(){
  var userAgentInfo = navigator.userAgent;
    var Agents = ["Android", "iPhone",
                "SymbianOS", "Windows Phone",
                "iPad", "iPod"];
    var flag = true;
    for (var v = 0; v < Agents.length; v++) {
        if (userAgentInfo.indexOf(Agents[v]) > 0) {
            flag = false;
            break;
        }
    }
    return  flag;
}
window._assignInfo = {};
window._curnodepersons = [];
window.attachmode = '0';
window.isEsignature = false;
window.upList = [];
window.downList = [];
window.billId = '';
window.upProcessIdList = [];
window.downProcessIdList = [];
var urlsplit = window.location.href.split("#");
if(urlsplit.length>1){
  //alert(window.location.href);
 	location.href = urlsplit[0];
}

test2.txt：

_this.ispc = function(){
  var userAgentInfo = navigator.userAgent;
    var Agents = ["Android", "iPhone",
                "SymbianOS", "Windows Phone",
                "iPad", "iPod"];
    var flag = true;
    for (var v = 0; v < Agents.length; v++) {
        if (userAgentInfo.indexOf(Agents[v]) > 0) {
            flag = false;
insert1；
insert2；
            break;
        }
    }
    return  flag;
}
window._assignInfo = {};
window._curnodepersons = [];
window.attachmode = '0';
window.isEsignature = false;


add
window.billId = '';
window.upProcessIdList = [];
window.downProcessIdList = [];
var urlsplit = window.location.href.split("#");
if(urlsplit.length>1){
  //alert(window.location.href);
 	location.href = qazwer[0];
}

三、获取两文件的不同点-patch

		//原始文件
        List<String> original = Files.readAllLines(new File("D:\\test1.txt").toPath());
        //对比文件
        List<String> revised = Files.readAllLines(new File("D:\\test2.txt").toPath());

        //两文件的不同点
        Patch<String> patch = DiffUtils.diff(original, revised);
        for (AbstractDelta<String> delta : patch.getDeltas()) {
            System.out.println(delta);
        }

输出：

[InsertDelta, position: 9, lines: [insert1；, insert2；]]
[ChangeDelta, position: 18, lines: [window.upList = [];, window.downList = [];] to [, , add]]
[ChangeDelta, position: 26, lines: [ 	location.href = urlsplit[0];] to [ 	location.href = qazwer[0];]]

InsertDelta代表插入的，ChangeDelta代表删除的或修改的。position代表第几行，lines代表内容。

四、根据patch生成统一的差异格式unifiedDiff

		//原始文件
        List<String> original = Files.readAllLines(new File("D:\\test1.txt").toPath());
        //对比文件
        List<String> revised = Files.readAllLines(new File("D:\\test2.txt").toPath());

        //两文件的不同点
        Patch<String> patch = DiffUtils.diff(original, revised);

		//生成统一的差异格式
        List<String> unifiedDiff = UnifiedDiffUtils.generateUnifiedDiff("test1.txt", "test2.txt", original, patch, 0);
        unifiedDiff.forEach(System.out::println);

输出diff：

--- test1.txt
+++ test2.txt
@@ -10,0 +10,2 @@
+insert1；
+insert2；
@@ -19,2 +21,3 @@
-window.upList = [];
-window.downList = [];
+
+
+add
@@ -27,1 +30,1 @@
- 	location.href = urlsplit[0];
+ 	location.href = qazwer[0];

说明：

关于输出的diff可参考 ：读懂diff

减号代表原始文件test1.txt，加号代表对比文件test2.txt

@@ -10,0 +10,2 @@
+insert1；
+insert2

表示test2增加了2行，分别加了insert1；和insert2这两行

@@ -19,2 +21,3 @@
-window.upList = [];
-window.downList = [];
+
+
+add

表示test2删除了2行，删除的这两行是test1从19行开始的2行；然后test2又增加了3行，增加是3行是从test2的21行开始的。

@@ -27,1 +30,1 @@
- 	location.href = urlsplit[0];
+ 	location.href = qazwer[0];

表示test2删除了1行，删除的这行是test1从27行开始的1行；然后test2又增加了1行，增加是1行是从test2的30行开始的。(相当于这一行进行了修改)

前端页面美化输出：
如果想将上面通过Java代码得到的两个文件的差异美化输出可以 参考我另一篇博客：Java+html实现文本对比 实现效果如下：

在这里插入图片描述
如果想获取全部内容对比，要把diff加入到文件内容中，也就是上面代码的diffString 替换为如下（没改动的代码前要加一个空格才会显示）：

    const diffString = `
--- test1.txt
+++ test2.txt
@@ -0,0 +0,0 @@
 this.ispc = function(){
  var userAgentInfo = navigator.userAgent;
    var Agents = ["Android", "iPhone",
                "SymbianOS", "Windows Phone",
                "iPad", "iPod"];
    var flag = true;
    for (var v = 0; v < Agents.length; v++) {
        if (userAgentInfo.indexOf(Agents[v]) > 0) {
            flag = false;
@@ -10,0 +10,2 @@			
+insert1；
+insert2；
            break;
        }
    }
    return  flag;
}
 window._assignInfo = {};
 window._curnodepersons = [];
 window.attachmode = '0';
 window.isEsignature = false;
@@ -19,2 +21,3 @@
-window.upList = [];
-window.downList = [];
+
+
+add
 window.billId = ;
 window.upProcessIdList = [];
 window.downProcessIdList = [];
 var urlsplit = window.location.href.split();
 if(urlsplit.length>1){
  //alert(window.location.href);
@@ -27,1 +30,1 @@
- 	location.href = urlsplit[0];
+ 	location.href = qazwer[0];
 }
`;

在这里插入图片描述

如果你想通过js获取diff，然后通过diff2html渲染到界面可以参考：
实现Diff页面的工程实践
vue-diff-demo

五、根据unifiedDiff打补丁

假设你有test1.txt、test2.txt、test3.txt 三个内容一样的文件，有一天你改了test2.txt的文件内容，你想把test2.txt修改的地方也同步的修改运用到 test3.txt上就可以通过打补丁的方式来实现。简单的来说就是test1.txt、test2.txt进行对比得到 unifiedDiff ，把 unifiedDiff运用到 test3.txt 。（相当于git的不同分支的代码同步）

		//原始文件
        List<String> original = Files.readAllLines(new File("D:\\test1.txt").toPath());
        //对比文件
        List<String> revised = Files.readAllLines(new File("D:\\test2.txt").toPath());

        //两文件的不同点
        Patch<String> patch = DiffUtils.diff(original, revised);

        //生成统一的差异格式
        List<String> unifiedDiff = UnifiedDiffUtils.generateUnifiedDiff("test1.txt", "test2.txt", original, patch, 0);

        //从文件或此处从内存导入统一差异格式到补丁
        Patch<String> importedPatch = UnifiedDiffUtils.parseUnifiedDiff(unifiedDiff);

        List<String> test3 = Files.readAllLines(new File("D:\\test3.txt").toPath());

        //将差异运用到其他文件打补丁，即将不同点运用到其他文件（相当于git的冲突合并）
        List<String> patchedText = DiffUtils.patch(test3, importedPatch);
        for (String patchedTextPow : patchedText) {
            System.out.println(patchedTextPow);
        }

输出：

_this.ispc = function(){
  var userAgentInfo = navigator.userAgent;
    var Agents = ["Android", "iPhone",
                "SymbianOS", "Windows Phone",
                "iPad", "iPod"];
    var flag = true;
    for (var v = 0; v < Agents.length; v++) {
        if (userAgentInfo.indexOf(Agents[v]) > 0) {
            flag = false;
insert1；
insert2；
            break;
        }
    }
    return  flag;
}
window._assignInfo = {};
window._curnodepersons = [];
window.attachmode = '0';
window.isEsignature = false;


add
window.billId = '';
window.upProcessIdList = [];
window.downProcessIdList = [];
var urlsplit = window.location.href.split("#");
if(urlsplit.length>1){
  //alert(window.location.href);
 	location.href = qazwer[0];
}

六、对比两文件的不同点并按行显示不同

		//原始文件
        List<String> text1= Files.readAllLines(new File("D:\\test2.txt").toPath());
        //对比文件
        List<String> text2=Files.readAllLines(new File("D:\\test1.txt").toPath());

        //行比较器，原文件删除的内容用"~"包裹，对比文件新增的内容用"**"包裹
        DiffRowGenerator generator = DiffRowGenerator.create()
                .showInlineDiffs(true)
                .inlineDiffByWord(true)
                .oldTag(f -> "~")
                .newTag(f -> "**")
                .build();
        //通过行比较器对比得到每一行的不同
        List<DiffRow> rows = generator.generateDiffRows(text1, text2);

        //输出每一行的原始文件和对比文件，每一行的原始文件和对比文件通过 "|"分割
        for (DiffRow row : rows) {
            System.out.println(row.getOldLine() + "|" + row.getNewLine());
        }

输出：

_this.ispc = function(){|_this.ispc = function(){
  var userAgentInfo = navigator.userAgent;|  var userAgentInfo = navigator.userAgent;
    var Agents = ["Android", "iPhone",|    var Agents = ["Android", "iPhone",
                "SymbianOS", "Windows Phone",|                "SymbianOS", "Windows Phone",
                "iPad", "iPod"];|                "iPad", "iPod"];
    var flag = true;|    var flag = true;
    for (var v = 0; v &lt; Agents.length; v++) {|    for (var v = 0; v &lt; Agents.length; v++) {
        if (userAgentInfo.indexOf(Agents[v]) &gt; 0) {|        if (userAgentInfo.indexOf(Agents[v]) &gt; 0) {
            flag = false;|            flag = false;
~insert1；~|
~insert2；~|
            break;|            break;
        }|        }
    }|    }
    return  flag;|    return  flag;
}|}
window._assignInfo = {};|window._assignInfo = {};
window._curnodepersons = [];|window._curnodepersons = [];
window.attachmode = '0';|window.attachmode = '0';
window.isEsignature = false;|window.isEsignature = false;
|**window.upList = [];**
|**window.downList = [];**
~add~|
window.billId = '';|window.billId = '';
window.upProcessIdList = [];|window.upProcessIdList = [];
window.downProcessIdList = [];|window.downProcessIdList = [];
var urlsplit = window.location.href.split("#");|var urlsplit = window.location.href.split("#");
if(urlsplit.length&gt;1){|if(urlsplit.length&gt;1){
  //alert(window.location.href);|  //alert(window.location.href);
     location.href = ~qazwer~[0];|     location.href = **urlsplit**[0];
}|}

参考：

Diffing more quickly
Compare files side by side and hightlight diff using Java | Apache Commons Text diff | Myers algorithm
Myers diff algorithm vs Hunt–McIlroy algorithm

java DiffUtils +HanLP分词 实现文字差异对比
weixin_45444673的博客
06-20 720
diffutils hanLp ， 差异对比
Similarity 文本比对程序java文本比较算法
01-23
Similarity.jar 里面包含三种经典的文本比对方法，本人己把代码打成包，可直接导入调用，里面有使用说明文件。
推荐文章：深入浅出java-diff-utils——你的代码差异比较神器
gitblog_00155的博客
08-08 1542
推荐文章：深入浅出java-diff-utils——你的代码差异比较神器 项目地址:https://gitcode.com/gh_mirrors/ja/java-diff-utils 在软件开发的世界里，对比文本差异几乎是每个开发者日常工作中不可或缺的一部分。今天，让我们一起探索一个强大的工具——java-diff-utils，这是一款专为Java平台设计的开源库，旨在简化文本差异的处理，提升工作...
Java-Diff-Utils：强大的文本比较库
gitblog_09468的博客
09-13 685
Java-Diff-Utils：强大的文本比较库 java-diff-utils Diff Utils library is an OpenSource library for performing the comparison / diff operations between texts or some kind o...
用Java语言实现文本内容对比的算法和程序
热门推荐
weixin_43274704的博客
11-10 1万+
前言 近日，鄙人在工作中接到甲方提出的一项研发需求，就是用程序将修改后的文件内容和修改前的文件内容进行比对，找出其中差异的部分进行展示，以便能够一眼看出修改人对文件做出了哪些修改。 刚接到这项需求时，感到颇有难度，但是我相信世界上没有无算法可以解决的问题，也没有程序实现不了的功能。经过深入思考，终于想出来实现文本内容对比的算法，并且写成程序得以实现。现将编程思想、算法和代码公布，欢迎各位软件研发人...
Java实现任意两段文字对比并输出对比结果到excel文件
oandy0的博客
01-15 2333
在企业审计业务和公文业务中，需要实现对文档内容的对比，对比的结果供工作人员进行核查。主要实现以下功能： 1.对比的结果以富文本的样式导出到excel中 2.保留对比结果的新增、修改和删除效果
java文本相似度对比
01-14
使用java调用HanLP分词器实现两个文本相似度对比，可以很快对比出百分率（1=100%）
Java实现的文本相似度对比器设计与应用
最新发布
weixin_28681379的博客
10-05 2280
本文还有配套的精品资源，点击获取 简介：文本相似度对比器是一款利用Java开发的工具，它通过实现多种算法来衡量文档之间的相似度，广泛应用于信息检索和学术防抄袭系统。该程序集成了词频统计、余弦相似性、TF-IDF等技术，以及Java集合框架和IO流，实现了高效的数据处理和文件操作。用户可通过执行 Detection.jar 文件运行程序，同时，源代码文件 ...
谷歌的文本差异对比实现类
08-05
该java文件主要是对两个文本进行对比，并用html 标签标记出来。
Java编程实现比对两个文本文件并标记相同与不同之处的方法
08-29
本文主要介绍了Java编程实现比对两个文本文件并标记相同与不同之处的方法，涉及Java针对文本文件的读取、遍历、判断等相关操作技巧。 一、Java读取文本文件 在Java中，读取文本文件可以使用BufferedReader类，通过...
文本相似度对比器（Java）
05-27
本系统是信息检索课程的一个关于文本相似度对比的程序，它是用Java设计的，你也可以直接点击里面的jar文件进行运行，本程序还可以用来防止同学进行文档作弊的作业，资源里面有还有它的使用方法。
Java 代码和文本内容比较神器
06-27
支持Java文本和其他任何文件的内容比较，以及两个文本之间合并
文本比对工具
11-11
文本比对工具，用于比对两个文本之间的差异，免安装。
java实现两个word文件进行比较
04-30
比较两个word内容将不一样的地方标记出来
文本对比工具
07-10
有时候感觉自己的代码没有错但是就是不行,可以对比代码
记录一下 Java 代码实现文件夹、文件的对比，主要包含 word、pdf、文本、图片等相关文件的对比计算，以及计算文本的相似率
08-11
本篇文章将探讨如何使用Java实现这一功能，特别是针对word、pdf、文本和图片等类型的文件进行对比计算，以及如何计算文本的相似率和筛选出差异的文件。 1. 文件和文件夹对比： 在Java中，可以使用`java.io.File`类...
java 使用求字符串相似度算法来实现文本文档差异比较的功能
heshiyuan1406146854的博客
12-04 853
【代码】java 使用求字符串相似度算法来实现文本文档差异比较的功能。
springboot 文件差异化对比以及可视化展示
蒯厅博客
02-01 1201
springboot 文件差异化对比以及可视化展示。
文本比较算法Ⅰ——LD算法
tt07406的博客
10-17 390
在日常应用中，文本比较是一个比较常见的问题。文本比较算法也是一个老生常谈的话题。 　　文本比较的核心就是比较两个给定的文本（可以是字节流等）之间的差异。目前，主流的比较文本之间的差异主要有两大类。一类是基于编辑距离（Edit Distance）的，例如LD算法。一类是基于最长公共子串的（Longest Common Subsequence），例如Needleman/Wunsch算法等。 　　...
利用java-diff-utils与katalon对接，实现自动化文件比较
05-26
Java-diff-utils是一个用Java编写的开源库，可用于比较文本文件、源代码、XML和HTML文档等。 而Katalon Studio是一个功能强大的自动化测试工具，它可以帮助我们快速准确地完成各种类型的自动化测试。 要实现自动化文件比较，我们可以结合使用这两个工具。以下是一些基本步骤： 1.将Java-diff-utils库添加到Katalon项目中。此步骤可以通过在Katalon中创建新的Java类来实现。然后，将Java-diff-utils的jar文件添加到该类的Java Build Path中。 2.编写脚本来读取需要比较的文件，并将它们传递给Java-diff-utils库进行比较。这样可以获取文件之间的差异列表。 3.将差异列表输出到控制台或存储在文件中，以便后续分析。 4.根据文件差异列表的结果，编写测试用例来验证文件是否已正确更新。 下面是一个简单的示例脚本，用于比较两个文本文件： ``` import java.io.File; import java.io.IOException; import java.nio.file.Files; import java.util.List; import org.junit.Test; import difflib.DiffUtils; import difflib.Patch; public class FileCompare { @Test public void compareFiles() throws IOException { File file1 = new File("file1.txt"); File file2 = new File("file2.txt"); List<String> lines1 = Files.readAllLines(file1.toPath()); List<String> lines2 = Files.readAllLines(file2.toPath()); Patch patch = DiffUtils.diff(lines1, lines2); List<String> differences = DiffUtils.generateUnifiedDiff("file1", "file2", lines1, patch, 0); for(String line : differences) { System.out.println(line); } } } ``` 此脚本将比较两个文本文件file1.txt和file2.txt，将差异列表输出到控制台。您可以根据需要修改此脚本以执行更复杂的比较操作，例如比较XML或HTML文件。 在Katalon Studio中，您可以将此脚本作为测试用例运行，并编写其他测试用例来验证文件是否已正确更新。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值