JAVA-简单实现文本相似度计算-余弦相似度

简介

在下是刚毕业的小萌新，现在在一家股票资讯公司做Java开发。手上是一个消息监控的项目，需要实时把爬虫组爬到的新闻经过处理入库。今天来了个需求，需要对新闻做一个去重的处理，减少类似新闻的出现。我理性分析一波，应该就是要计算一下文本的相似度嗯嗯。。。那该怎么做呢。。。

计算文本相似度方法

文本的相似度计算方法可以分为两大类：基于深度学习的方法和基于非深度学习的方法。
虽然小的我在自然语言处理与交互部，但我只是个开发，不是算法，所以这里采用简单的非深度学习的方法。
常用的几个计算方法：余弦相似度、最小编辑距离。。。。。
由于场景比较简单，所以并没有对文本进行分词，如果有需要，可以用jieba，hanlp等等

余弦相似度

private static double getSimilarity(String doc1, String doc2) {
   
		if (StringUtils.isBlank(doc1) or StringUtils.isBlank(doc2)) {
   
				return 0L;
		}
		Map<Character,int[]> algMap=new HashMap<>();
		for (int i = 0