solr6的学习与使用（五）：联想词功能

说到搜索，联想词功能肯定是必备的。为实现基于solr的联想词功能，做了大量的调研，最终在项目中实现了两种方案混用的形式。第一种是基于分词器推荐功能，即spellcheck；第二种是利用自己生成词库的方式去实现联想。那说一下这两种在solr里的实现方式吧。

1. 首先是基于分词器推荐的方式，在solrconfig.xml中添加并设置suggest组件，实现如下：

在solrconfig.xml中修改如下配置，然后重启solr。

<searchComponent name="spellcheck" class="solr.SpellCheckComponent">
  <str name="queryAnalyzerFieldType">text_ik</str>
  <lst name="spellchecker">
    <str name="name">default</str>
    <str name="field">searchText</str>
    <str name="buildOnCommit">true</str>
    <str name="spellcheckIndexDir">spellchecker</str>
  </lst>
</searchComponent>

<searchComponent class="solr.SpellCheckComponent" name="suggest">
  <str name="queryAnalyzerFieldType">text_ik</str>
  <lst name="spellchecker">
    <str name="name">suggest</str>
    <str name="classname">org.apache.solr.spelling.suggest.Suggester</str>
    <str name="lookupImpl">org.apache.solr.spelling.suggest.tst.TSTLookup</str>
    <str name="field">searchText</str>
    <!-- the indexed field to derive suggestions from -->
    <float name="threshold">0.0001</float>
    <str name="spellcheckIndexDir">spellchecker</str>
    <str name="comparatorClass">freq</str>
    <str name="buildOnOptimize">true</str>
    <str name="buildOnCommit">true</str>
  </lst>
</searchComponent>
<requestHandler class="org.apache.solr.handler.component.SearchHandler" name="/suggest">
 <lst name="defaults">
     <str name="spellcheck">true</str>
     <str name="spellcheck.dictionary">suggest</str>
     <str name="spellcheck.onlyMorePopular">true</str>
     <str name="spellcheck.extendedResults">false</str>
     <str name="spellcheck.count">10</str>
     <str name=“spellcheck.collate">true</str>
     <str name="spellcheck.maxCollations">5</str>
 </lst>
 <arr name="components">
     <str>suggest</str>
 </arr>
</requestHandler>

<queryConverter name="phraseQueryConverter" class="org.apache.solr.spelling.SpellingQueryConverter"/>

需要说明的是，上面配置中主要注意field字段和queryAnalyzerFieldType字段的配置，前者是你再manage-scheme中配置过的field，后者是fieldType。下面是一个请求后的示例，访问URL为：http://[solr-sever-ip]:8983/solr/[coreName]/suggest?indent=on&q=防火设计&wt=json。

{
  "responseHeader":{
    "status":0,
    "QTime":2},
  "spellcheck":{
    "suggestions":[
      "防火",{
        "numFound":7,
        "startOffset":0,
        "endOffset":2,
        "suggestion":["防火门",
          "防火墙",
          "防火设计",
          "防火阀",
          "防火间距",
          "防火堤",
          "防火板"]},
      "设计",{
        "numFound":9,
        "startOffset":2,
        "endOffset":4,
        "suggestion":["设计规范",
          "设计标准",
          "设计图",
          "设计说明",
          "设计方案",
          "设计阶段",
          "设计人",
          "设计院",
          "设计变更"]}],
    "collations":[
      "collation","防火设计规范",
      "collation","防火门设计",
      "collation","防火墙设计",
      "collation","防火设计标准",
      "collation","防火门设计规范"]}}

而我在联想词的选择中选择的不是suggestion（因为会对分词结果产生多个）,最终我采用了collations（通过配置maxCollations设置想要的结果数）。然而这种效果不是非常理想，缺点就是当推荐的分词越来越长时，会产生语句不通的推荐。我的做法是通过一些策略过滤那种情况，然而为了更好的联想体验，我又实现了第二种方式的联想功能。

2. 基于自建联想词库方式。

首先创建一个新的core，方式参考之前的文章。然后修改配置文件solrconfig.xml，与上面基本一致，需要注意到sourceLocation为自建词库的地址，每次更改自建词库需要重启solr才能生效。

<searchComponent name="suggest" class="solr.SpellCheckComponent">
  <str name="queryAnalyzerFieldType">text_ik</str>
  <lst name="spellchecker">
      <str name="name">suggest</str>
      <str name="classname">org.apache.solr.spelling.suggest.Suggester</str>
      <str name="lookupImpl">org.apache.solr.spelling.suggest.tst.TSTLookup</str>
      <str name="field">searchText</str>
      <float name="threshold">0.0001</float>
      <str name="sourceLocation">suggest/suggest.txt</str>
      <str name="spellcheckIndexDir">spellchecker</str>
      <str name="comparatorClass">freq</str>
      <str name="buildOnOptimize">true</str>
      <str name="buildOnCommit">true</str>
  </lst>
</searchComponent>
<requestHandler name="/suggest" class="solr.SearchHandler">
  <lst name="defaults">
      <str name="spellcheck">true</str>
      <str name="spellcheck.dictionary">suggest</str>
      <str name="spellcheck.count">5</str>
      <str name="spellcheck.onlyMorePopular">true</str>
      <str name="spellcheck.extendedResults">false</str>
      <str name="spellcheck.collate">true</str>
      <str name="spellcheck.maxCollations">5</str>
  </lst>
  <arr name="components">
      <str>suggest</str>
  </arr>
</requestHandler>

这种方式也有弊端，如果你的自建词库不够全的话，会产生无推荐的情况。因此我最终将这两种方式同时运用，如果有比较好的方案，希望各位能够指点一下！多谢！