Lucene中的动态摘要

最新推荐文章于 2022-08-27 22:24:45 发布

weixin_34310785

最新推荐文章于 2022-08-27 22:24:45 发布

阅读量170

点赞数

文章标签： python 人工智能

原文链接：https://my.oschina.net/ouyanghuangzheng/blog/184624

版权

2019独角兽企业重金招聘Python工程师标准>>>

Lucene扩展中有一个HighLighter自动摘要的包。

通过调用：getBestFragments 返回一个或多个和搜索关键词最相关的段落。

Fragmenter 把文本分成多个段落。

QueryScorer 计算每个段落的分值。QueryScorer只应该包含需要做高量显示的Term。

TokenStream 通过IndexReader中的位置信息来返回一个TokenStream，而不要再次分词处理原文后返回TokenStream。如果IndexReader中的Token位置有重叠，为了把冗余的Token去掉，TokenStream计算起来会麻烦一些。

Highlighter highlighter =new Highlighter(this,new QueryScorer(query));
		highlighter.setTextFragmenter(new SimpleFragmenter(40));
		for (int i = 0; i < hits.length(); i++)
		{
			String text = hits.doc(i).get(FIELD_NAME);
			int maxNumFragmentsRequired = 2;
			String fragmentSeparator = "...";
			TermPositionVector tpv = (TermPositionVector)reader.getTermFreqVector(hits.id(i),FIELD_NAME);
			TokenStream tokenStream=TokenSources.getSingleTokenStream(tpv,true);
			String result =highlighter.getBestFragment(tokenStream,text);
			System.out.println("\t" + result);
		}

转载于:https://my.oschina.net/ouyanghuangzheng/blog/184624