文本相似度算法Jaccard相似度(杰卡德相似度)java实现

文本相似度算法

杰卡德相似度,指的是文本A与文本B中交集的字数除以并集的字数,公式非常简单:

java代码

import java.util.HashSet;
import java.util.Scanner;
import java.util.Set;
 
public class StrJaccard {
	public static void main(String[] args) {
		System.out.println("请输入两个字符串");
 
		Scanner sc = new Scanner(System.in);
		String str1 = sc.nextLine();
		String str2 = sc.nextLine();
		
		Set<Character> s1 = new HashSet<>();//set元素不可重复
		Set<Character> s2 = new HashSet<>();
		
		for (int i = 0; i < str1.length(); i++) {
			s1.add(str1.charAt(i));//将string里面的元素一个一个按索引放进set集合
		}
		for (int j = 0; j < str2.length(); j++) {
			s2.add(str2.charAt(j));
		}
 
		float mergeNum = 0;//并集元素个数
		float commonNum = 0;//相同元素个数(交集)
		
		for(Character ch1:s1) {
			for(Character ch2:s2) {
				if(ch1.equals(ch2)) {
					commonNum++;
				}
			}
		}
		
		mergeNum = s1.size()+s2.size()-commonNum;
		
		float jaccard = commonNum/mergeNum;
		System.out.println(jaccard);
	}
}

参考:(13条消息) Jaccard相似度算法Java实现_朝时的博客-CSDN博客_jaccard java

### Java 中的文本相似度计算算法实现Java 中,可以通过多种方法实现文本相似度的计算。以下是几种常见算法及其具体实现方式: #### 1. 卡德相似度 (Jaccard Similarity) 卡德相似度是一种基于集合的方法,它通过计算两个集合的交集与并集的比例来衡量相似度。对于文本数据,通常将其拆分为单词或 n-gram 的形式。 ```java import java.util.*; public class JaccardSimilarity { public static double calculate(String text1, String text2) { Set<String> set1 = new HashSet<>(Arrays.asList(text1.toLowerCase().split("\\s+"))); Set<String> set2 = new HashSet<>(Arrays.asList(text2.toLowerCase().split("\\s+"))); // 计算交集大小 set1.retainAll(set2); int intersectionSize = set1.size(); // 计算并集大小 set1.addAll(set2); int unionSize = set1.size(); return (double) intersectionSize / unionSize; } } ``` 此代码片段展示了如何利用 `HashSet` 数据结构快速计算两段文本卡德相似度[^2]。 --- #### 2. 余弦相似度 (Cosine Similarity) 余弦相似度是另一种常用的文本相似度测量方法,其核心思想是比较两个向量之间的角度。为了使用该方法,需先将文本转化为数值型向量(如 TF-IDF 向量)。下面是一个简单的例子: ```java public class CosineSimilarity { private Map<String, Integer> getWordFrequencyMap(String text) { Map<String, Integer> frequencyMap = new HashMap<>(); Arrays.stream(text.toLowerCase().split("\\s+")) .forEach(word -> frequencyMap.put(word, frequencyMap.getOrDefault(word, 0) + 1)); return frequencyMap; } public double calculate(String text1, String text2) { Map<String, Integer> map1 = getWordFrequencyMap(text1); Map<String, Integer> map2 = getWordFrequencyMap(text2); List<String> allWords = new ArrayList<>(map1.keySet()); allWords.addAll(map2.keySet()); double dotProduct = 0.0; double magnitudeA = 0.0; double magnitudeB = 0.0; for (String word : allWords) { int countA = map1.getOrDefault(word, 0); int countB = map2.getOrDefault(word, 0); dotProduct += countA * countB; magnitudeA += Math.pow(countA, 2); magnitudeB += Math.pow(countB, 2); } return dotProduct / (Math.sqrt(magnitudeA) * Math.sqrt(magnitudeB)); } } ``` 上述代码实现了基本的词频统计以及余弦相似度的计算逻辑[^3]。 --- #### 3. 编辑距离 (Edit Distance 或 Levenshtein 距离) 编辑距离是指将一个字符串转换成另一个字符串所需的最少单字符操作次数(插入、删除或替换)。虽然主要用于短字符串匹配,但在某些情况下也可扩展到较长文本。 ```java public class EditDistance { public int calculate(String str1, String str2) { int m = str1.length(); int n = str2.length(); int[][] dp = new int[m + 1][n + 1]; for (int i = 0; i <= m; i++) { for (int j = 0; j <= n; j++) { if (i == 0) { dp[i][j] = j; } else if (j == 0) { dp[i][j] = i; } else if (str1.charAt(i - 1) == str2.charAt(j - 1)) { dp[i][j] = dp[i - 1][j - 1]; } else { dp[i][j] = 1 + Math.min(dp[i - 1][j], Math.min(dp[i][j - 1], dp[i - 1][j - 1])); } } } return dp[m][n]; } } ``` 这段代码提供了动态规划的方式求解最短编辑路径长度[^1]。 --- #### 总结 以上三种算法各有优劣,在不同应用场景下表现各异: - **卡德相似度**适合处理较短的文本或者关键词列表; - **余弦相似度**更适合大规模文档间的语义对比; - **编辑距离**则更倾向于精确匹配的任务。 开发者可根据实际需求选取合适的算法加以优化和部署。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

smx6666668

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值