Solr查询高亮显示实现方式

一、 实现种类
        高亮显示在搜索中使用的比较多,比较常用的有三种使用方式,如果要对某field做高亮显示,必须对该field设置stored=true
第一种是普通的高亮显示Highlighter,根据查询的docIdSet,获取Documents,并获取当前document的需要高亮的field的value,根据query的term和该field的value做匹配算法
第二种是,快速高亮显示FastVectorHighlighter,效率比普通的高亮显示要高;需要定义termvector(占用空间和IO),包括position和offset,根据query term的termvector到field value中做快速的定位标记,进而实现快速的高亮显示

第三种是在solr外部做高亮显示,由于高亮显示需要对field设置为store=true,所有对于单节点数据量比较大并且该字段比较大的话,会消耗大量的IO操作,那么可以把该字段存储在另外的地方,比如Hbase,在外部做高亮显示的匹配。


二、 实现方法:
        高亮显示有三种方式可以实现,具体说明如下:
第一种是在URL中输入:http://localhost:8080/solr/select?q=name%3Adatou&hl=true&hl.fl=name&hl.simple.pre=%3Cfont+color%3D%27red%27%3E&hl.simple.post=%3C%2Ffont%3E
返回xml结果如下:

第二种是用solrj实现,对应代码如下:
[java]  view plain  copy
  1. package mysolrtest;  
  2.   
  3. import java.util.List;  
  4. import java.util.Map;  
  5.   
  6. import org.apache.solr.client.solrj.SolrQuery;  
  7. import org.apache.solr.client.solrj.SolrServer;  
  8. import org.apache.solr.client.solrj.SolrServerException;  
  9. import org.apache.solr.client.solrj.impl.HttpSolrServer;  
  10. import org.apache.solr.client.solrj.response.QueryResponse;  
  11. import org.apache.solr.common.SolrDocument;  
  12. import org.apache.solr.common.SolrDocumentList;  
  13. import org.apache.solr.common.util.NamedList;  
  14.   
  15. public class HighLightTest {  
  16.     public static void main(String[] args) throws SolrServerException{  
  17.         String url = "http://10.7.11.141:8080/solr"; //或者"http://localhost:8080/solr"  
  18.         SolrServer solr = new HttpSolrServer(url);  
  19.           
  20.         SolrQuery query = new SolrQuery();  
  21.         //设置高亮  
  22.         query.setQuery("name:datou");  
  23.         query.setHighlight(true); // 开启高亮组件或用query.setParam("hl", "true");  
  24.         query.addHighlightField("name");// 高亮字段  
  25.         query.setHighlightSimplePre("<font color='red'>");//标记,高亮关键字前缀  
  26.         query.setHighlightSimplePost("</font>");//后缀  
  27. //      query.setHighlightSnippets(1);//结果分片数,默认为1  
  28. //      query.setHighlightFragsize(1000);//每个分片的最大长度,默认为100  
  29.           
  30.         System.out.println(query);//用于调试程序  
  31.           
  32.         QueryResponse rsp = solr.query(query);  
  33.         NamedList list = (NamedList) rsp.getResponse().get("highlighting");  
  34.         System.out.println(list);//用于显示list中的值    
  35.           
  36.         for (int i = 0; i < list.size(); i++){  
  37.             System.out.println("id=" + list.getName(i) + "文档中高亮显示的字段:" + list.getVal(i));  
  38.         }  
  39. /*       
  40.         //或用以下这种方式输出 
  41.         SolrDocumentList list1 = new SolrDocumentList(); 
  42.         SolrDocument document = new SolrDocument(); 
  43.         QueryResponse response = solr.query(query); 
  44.         try { 
  45.             SolrDocumentList documents = response.getResults();          
  46.             //System.out.println("documents的内容: " + documents); //用于测试documents中的值 
  47.  
  48.             // 第一个Map的键是文档的ID,第二个Map的键是高亮显示的字段名 
  49.             Map<String, Map<String, List<String>>> map = response.getHighlighting();           
  50.             //System.out.println("map的内容: " + map); //用于测试map中的值 
  51.              
  52.             for (int i = 0; i < documents.size(); i++) { 
  53.                 document = documents.get(i);                 
  54.                 //System.out.println("document的内容: " + document); //用于测试document中的值 
  55.                  
  56.                 //将document的name字段值设置为从map映射中得到相应id文档的name字段值 
  57.                 document.setField("name", map.get(document.getFieldValue("id")).get("name"));                
  58.                 //document.setField("email", map.get(document.getFieldValue("id")).get("email")); 
  59.                 list1.add(document); 
  60.             } 
  61.             System.out.println("list1的内容: " + list1); //用于测试list中的值 
  62.         } catch (Exception e) { 
  63.              
  64.         } 
  65. */  
  66.     }  
  67. }  

输出结果如下:
q=name%3Adatou&hl=true&hl.fl=name&hl.simple.pre=%3Cfont+color%3D%27red%27%3E&hl.simple.post=%3C%2Ffont%3E
{2={name=[<font color='red'>datou</font>]},8={name=[<font color='red'>datou</font> ok]},10={name=[<font color='red'>datou</font> yes]}}
id=2文档中高亮显示的字段:{name=[<font color='red'>datou</font>]}
id=8文档中高亮显示的字段:{name=[<font color='red'>datou</font> ok]}
id=10文档中高亮显示的字段:{name=[<font color='red'>datou</font> yes]}
第三种是配置scheme.xml文件。solr的高亮显示(包括自动摘要),是通过hl这个param,以及其相关变量来实现的,hl是hightlight的简写。lucene中是通过highlighter来操作高亮和摘要的。配置高亮的相关属性,是在solrconfig.xml中配置的。在 <requestHandler name="search" class="solr.SearchHandler" default="true">下进行配置。solrconfig.xml文件中包含多个requestHandler的标签,但是只有在上述的名为search的标签中配置才有效。现将配置的案列公布如下:
Xml代码 
[html]  view plain  copy
  1. 1.  <requestHandler name="search" class="solr.SearchHandler" default="true">    
  2. 2.     <!-- default values for query parameters can be specified, these    
  3. 3.          will be overridden by parameters in the request    
  4. 4.       -->    
  5. 5.      <lst name="defaults">    
  6. 6.        <str name="echoParams">explicit</str>    
  7. 7.        <int name="rows">10</int>    
  8. 8.        <str name="df">text</str>    
  9. 9.     <str name="hl">true</str>    
  10. 10.    <str name="hl.fl">content</str>    
  11. 11.    <str name="f.name.hl.fragsize">50</str>    
  12. 12.    <str name="hl.simple.pre"><font color="red></str>    
  13. 13.    <str name="hl.simple.post"></font></str>    
  14. 14.     </lst>    
  15. 15.  </requestHandler>  

说明:
        hl是指定是否使用高亮;hl.fl,指定对哪些域进行高亮,对多个域进行高亮的话,好像是用逗号隔开;f.name.hl.fragsize是指摘要的长度,默认0代表不做摘要。而hl.simple.pre和hl.simple.post则是指定高亮时显示的格式,默认是<em></em>。详细内容请参见:http://wiki.apache.org/solr/HighlightingParameters。
        设置完成后,在solrj中,通过QueryResponse对象的getHighlighting()方法获得。该方法返回 Map<String,Map<String,List<String>>>类型的数据。其中第一个Map中的key是id,第二个Map中的key是field,List<String>中封装的就是高亮与摘要处理过后的内容了。
        Map<String, Map<String, List<String>>> map = response.getHighlighting();通过这个api的方法就可以得到高亮的内容,高亮的内容通过 key 跟索引的document部分关联起来,这个key就是document 的id。
三、 高亮参数详细说明:
• hl.fl: 用空格或逗号隔开的字段列表。要启用某个字段的highlight功能,就得保证该字段在schema中是stored。如果该参数未被给出,那么就会高亮默认字段 standard handler会用df参数,dismax字段用qf参数。你可以使用星号去方便的高亮所有字段。如果你使用了通配符,那么要考虑启用hl.requiredFieldMatch选项。
• hl.requireFieldMatch: 
如果置为true,除非该字段的查询结果不为空才会被高亮。它的默认值是false,意味着它可能匹配某个字段却高亮一个不同的字段。如果hl.fl使用了通配符,那么就要启用该参数。尽管如此,如果你的查询是all字段(可能是使用copy-field 指令),那么还是把它设为false,这样搜索结果能表明哪个字段的查询文本未被找到
• hl.usePhraseHighlighter: 
如果一个查询中含有短语(引号框起来的)那么会保证一定要完全匹配短语的才会被高亮。
• hl.highlightMultiTerm 
如果使用通配符和模糊搜索,那么会确保与通配符匹配的term会高亮。默认为false,同时hl.usePhraseHighlighter要为true。
• hl.snippets: 
这是highlighted片段的最大数。默认值为1,也几乎不会修改。如果某个特定的字段的该值被置为0(如f.allText.hl.snippets=0),这就表明该字段被禁用高亮了。你可能在hl.fl=*时会这么用。
• hl.fragsize: 
每个snippet返回的最大字符数。默认是100.如果为0,那么该字段不会被fragmented且整个字段的值会被返回。大字段时不会这么做。
• hl.mergeContiguous: 
如果被置为true,当snippet重叠时会merge起来。
• hl.maxAnalyzedChars: 
会搜索高亮的最大字符,默认值为51200,如果你想禁用,设为-1
• hl.alternateField: 
如果没有生成snippet(没有terms 匹配),那么使用另一个字段值作为返回。
• hl.maxAlternateFieldLength: 
如果hl.alternateField启用,则有时需要制定alternateField的最大字符长度,默认0是即没有限制。所以合理的值是应该为
• hl.snippets * hl.fragsize这样返回结果的大小就能保持一致。
• hl.formatter:一个提供可替换的formatting算法的扩展点。默认值是simple,这是目前仅有的选项。显然这不够用,你可以看看org.apache.solr.highlight.HtmlFormatter.java 和 solrconfig.xml中highlighting元素是如何配置的。
注意在不论原文中被高亮了什么值的情况下,如预先已存在的em tags,也不会被转义,所以在有时会导致假的高亮。
• hl.fragmenter: 
这个是solr制定fragment算法的扩展点。gap是默认值。regex是另一种选项,这种选项指明highlight的边界由一个正则表达式确定。这是一种非典型的高级选项。为了知道默认设置和fragmenters (and formatters)是如何配置的,可以看看solrconfig.xml中的highlight段。
regex 的fragmenter有如下选项:
• hl.regex.pattern:正则表达式的pattern
• hl.regex.slop:这是hl.fragsize能变化以适应正则表达式的因子。默认值是0.6,意思是如果hl.fragsize=100那么fragment的大小会从40-160.

四、 可供参考代码:

[java]  view plain  copy
  1. public class SolrTestQuery {  
  2.    
  3.     public static void main(String[] args) throws Exception{  
  4.     String zkHost = "localhost:9080";   
  5.         String defaultCollection = "collection1";    
  6.    
  7.         CloudSolrServer server = new CloudSolrServer(zkHost);    
  8.         server.setDefaultCollection(defaultCollection);  
  9.     SolrQuery params = new SolrQuery();    
  10.         String q="俄罗斯空军";  
  11.         //the common parameters for all search    
  12.         params.set("q""content:"+q,"title:"+q);    
  13.         params.set("fl""*,score");  // field list    
  14.         params.set("start""0");    
  15.         params.set("rows""10");   
  16.         params.setHighlightSimplePre("<em>");  
  17.         params.setHighlightSimplePost("</em>");  
  18.         params.addHighlightField("title");  
  19.         params.addHighlightField("content");  
  20.         params.addHighlightField("keywords");  
  21.         params.setHighlight(true);  
  22.         params.setHighlightFragsize(72);  
  23.         params.setHighlightSnippets(3);  
  24.         params.setSort("score", ORDER.desc);  
  25.         params.setSort("updatetime", ORDER.desc);  
  26.         params.set("timeAllowed""30000"); //miliseconds    
  27.         params.set("wt""json"); // the response writer type    
  28.    
  29.         //查询并获取相应的结果!    
  30.         QueryResponse response = null;    
  31.         try {    
  32.             response = server.query(params);    
  33.             SolrDocumentList results = response.getResults();  
  34.                 //高亮集合  
  35.             Map<String, Map<String, List<String>>> highlightresult=response.getHighlighting();  
  36.             for (int i = 0; i < results.size(); ++i) {  
  37.                 SolrDocument document=results.get(i);  
  38.                 System.out.println(document.get("id").toString());  
  39.    
  40.                 if(highlightresult.get(document.get("id").toString())!=null && highlightresult.get(document.get("id").toString()).get("title")!=null){  
  41.                     String t=highlightresult.get(document.get("id").toString()).  
  42.                                          get("title").get(0);  
  43.                     System.out.println(t);  
  44.                 }else{  
  45.                     System.out.println(document.get("title"));  
  46.                 }  
  47.    
  48.    
  49.                 if(highlightresult.get(document.get("id").toString())!=null && highlightresult.get(document.get("id").toString()).get("content")!=null){  
  50.                     String t=highlightresult.get(document.get("id").toString())  
  51.                                          .get("content").get(0);  
  52.                     t=t.length()>72 ? t.substring(072) : t;  
  53.                     System.out.println(t);  
  54.                 }else{  
  55.                     System.out.println(document.get("content"));  
  56.                 }  
  57.                 System.out.println(document.get("score"));  
  58.             }  
  59.         } catch (SolrServerException e) {    
  60.             System.err.println(e.getMessage());    
  61.             e.printStackTrace();    
  62.         } catch (Exception e) {    
  63.             System.err.println(e.getMessage());    
  64.             e.printStackTrace();    
  65.         } finally {    
  66.             server.shutdown();    
  67.         }    
  68.    }  
  69. }  
  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值