两篇文章的相似度比较

最新推荐文章于 2023-11-26 13:49:52 发布

VIP文章 honglingjin3

最新推荐文章于 2023-11-26 13:49:52 发布

阅读量1.1w

点赞数 6

分类专栏： java 文章标签：索引文档余弦相似度 TF-IDF 词频统计

本文链接：https://blog.csdn.net/gooowang/article/details/40084803

版权

仅仅考虑两篇文章的词组，并未考虑文本的语义信息。

实现原理：

1. 对两篇文档进行词频统计；

2. 利用“TF-IDF和余弦相似度”原理，计算两篇文档的相似度。

实现过程：

1.利用lucene对大量文章建立索引，创建语料库，来提高TF-IDF的准确度。

2. 通过余弦公式计算出两篇文章的相似度。

package twodocsimiliary;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.io.StringReader;
import java.text.DecimalFormat;
import java.util.HashMap;
import java.util.Map;

import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.FSDirectory;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
/**
 * 仅仅考虑词组，并未考虑文本的语义信息
 * @author wangss 
 * @date Aug 26, 2014
 */
public class comparisontwodoc {
	
	public static Map<Long,String> words = new HashMap<Long,String>();
	public static void main(String []args){
//		AnalyzerWord analyzer = new AnalyzerWord();
		String path_a = "H:\\a.txt";
		String path_b = "H:\\c.txt";
		String str = readFiles(path_a);
		String str2 = readFiles(path_b);
		
		
		Map<Long,Double> tf_a = iniCosine(str);
		Map<Long,Double> tf_b = iniCosine(str2);
		long molecular=0;//分子
		long denominator_a=0;//分母
		long denominator_b=0;
		
		System.out.println("两篇文档相似的词有：");
		DecimalFormat df = new DecimalFo