简单实现根据Td-idf实现语句相似度

最新推荐文章于 2020-12-31 14:12:01 发布

Jipon

最新推荐文章于 2020-12-31 14:12:01 发布

阅读量1.1k

点赞数

分类专栏：信息检索文章标签： td-idf 相似度余弦

本文链接：https://blog.csdn.net/chen19920219/article/details/70914585

版权

该博客介绍如何运用TD-IDF方法，通过词频统计，计算并比较两个语句之间的相似度，前提是语句已进行分词处理。

摘要由CSDN通过智能技术生成

使用词频来计算两个语句的相似度，假设语句已经使用分词工具分好









	public class Similar {
	

		public static double getSimilarity(Vector<String> T1, Vector<String> T2) throws Exception {
		    int size = 0 , size2 = 0 ;
		    double sum=0;
		    if ( T1 != null && ( size = T1.size() ) > 0 && T2 != null && ( size2 = T2.size() ) > 0 ) {
		         
		    	Set<String> set=new HashSet<String>();
		     	Map<String, Integer> s1 = new HashMap<String, Integer>();
		    	Map<String, Integer> s2= new HashMap<String, Integer>();
		    	//获取T1，T2所有的不重复单词
		    	for (int i = 0; i < size; i++) {
					set.add(T1.get(i));
				}
		    	for(int j=0;j<size2;j++){
		    		set.add(T2.get(j));
		    		
		    	}
		    	//计算每个向量中的词语出现的次数
		    	 for (String string : set) {
		    		int count=0;
		    	    int count1=0;