跟益达学Solr5之使用Ansj分词器-CSDN博客

OK,直接开门见山，不绕弯子啦！基于上篇博客，我们知道了在Solr中配置分词器有两种方式，一种是直接配置分词器类，比如：

     Xml代码   
     
   
<fieldType name="text_ik" class="solr.TextField">        
        <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer" />        
</fieldType>  

一种是配置TokenizerFactory类，由于Solr API中并没有内置类似IK，Ansj这样的中文分词器的TokenizerFactory类，所以我们需要自己扩展，不过你们不用担心，我已经扩展好了。配置样例如下：

     Xml代码   
     
   
<fieldType name="text_ik" class="solr.TextField">  
        <analyzer type="index">  
            <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="true"/>  
        </analyzer>  
        <analyzer type="query">  
            <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="false"/>  
        </analyzer>  
</fieldType>  

我扩展的AnsjTokenizerFactory源码如下：

     Java代码   
     
   
public class AnsjTokenizerFactory  extends TokenizerFactory {  
    /**是否查询分词*/  
    private boolean query;  
    /**是否分析词干.进行单复数,时态的转换(只针对英文单词)*/  
    private boolean pstemming;  
    /**自定义停用词词典文件路径*/  
    private String stopwordsDir;  
          
    public AnsjTokenizerFactory(Map<String, String> args) {  
        super(args);  
        query = getBoolean(args, "query", false);  
        pstemming = getBoolean(args, "pstemming", false);  
        stopwordsDir = get(args, "stopwordsDir", "");  
    }  
      
    @Override  
    public Tokenizer create(AttributeFactory factory) {  
        if(query) {  
            return new AnsjTokenizer(factory,new ToAnalysis(new Forest[0]),stopwordsDir,pstemming);  
        }  
        return new AnsjTokenizer(factory,new IndexAnalysis(new Forest[0]),stopwordsDir,pstemming);  
    }  
}  

下面介绍如何在Solr中使用Ansj分词器，首先你需要在Solr_home的core\lib目录下添加依赖的jar：

ansj_seg-2.0.8.jar(戳我试试(*^__^*) 嘻嘻)

solr-analyzer-ansj-5.1.0.jar(这个jar包体积较小，请在底下的附件里下载)

nlp-lang-0.2.jar(这是ansj-seg-2.0.8.jar依赖的jar包)

如图：

然后在schema.xml中添加如下配置：

至于query，pstemming，stopwordsDir这3个配置参数的含义，请看我在源码中作的注释，如图：

query参数：分词的两个阶段：建立索引阶段和查询阶段，即表示是否为查询阶段分词，针对不同的分词阶段采用的分词策略是不一样的。具体看源码，如图：

pstemming：表示是否对英文单词进行单复数转换以及时态转换，比如apples还原成apple，loved还原成love,broken还原成break，注意pstemming参数仅仅是针对英文，因为只有英文才有单复数和时态形式。

stopwordsDir参数就很好理解了，就是你的自定义停用词词典的存放路径，

上面3个参数是可选的，不是必须配置的。

TokenizerFactory配置好了，然后你就在你的Field中应用此分词器了，如图：

然后你需要把ansj的library.properties配置文件copy到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes路径，如图：

library.properties配置如下：

     Xml代码   
     
   
#redress dic file path  
ambiguityLibrary=E:/apache-tomcat-7.0.55/webapps/solr/WEB-INF/classes/library/ambiguity.dic  
#path of userLibrary this is default library  
userLibrary=E:/apache-tomcat-7.0.55/webapps/solr/WEB-INF/classes/library  
#set real name  
isRealName=true  

比较恶心的是，anasj分词器的字典文件加载路径这里只能写死成绝对路径，因为它源码里加载字典文件是直接通过new File(dicPath)这种方式来实现的。当你在eclipse中运行，你的dicPath相对路径是你的项目根目录，而如果你的项目部署到tomcat，那dicPath的相对路径就是tomcat根目录下的bin，这确实比较啃爹，所以我这里干脆直接写成绝对路径，当然你可以把字典文件放到任意目录下，比如C:\Library,不是非要放到tomcat下，这个我必须要澄清下。下图是Ansj分词器在加载字典文件时比较恶心的实现方式：

如果改成这样方式加载字典文件会比较好点，我个人觉得：

this.getClass().getClassLoader().getResourceAsStream(dicPath);

这样你的字典文件路径dicPath的相对路径才是当前classPath。不过ansj里你把字典文件配置成绝对路径也可以，不一定非要相对路径，这点仁者见仁智者见智吧！骚年，你怎么看？

接着你需要在E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes目录下新建一个library目录，然后把ansj自带的两个字典文件ambiguity.dic和default.dic复制进去，然后新建一个ext.dic文件。相关的字典文件和配置文件我待会儿会上传到附件里供你们参考。其中ext.dic是用户自定义扩展字典文件，如图：

对于类似这种网络新词，ansj分词器默认是分不出来的，这时就需要定义自定义扩展字典。

你应该已经发现了，我们在配置AnsjTokenizerFactory的时候配置了stopwordsDir="stopwords/stopwords.dic"自定义停用词加载路径，这里的stopwordsDir是相对于当前classpath的即E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes，所以我们需要在E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes下新建stopwords文件夹，然后在stopwords文件夹下新建一个stopwords.dic字典文件，stopwords.dic内容如下：

这里我只加两个词语作为演示，你们可以根据你自己的需求随意添加你自己的停用词。需要解释下的是，之所以stopwordsDir参数是相对于当前classpath，是因为我在实现AnsjTokenizerFactory时是采用这样的方式来加载词典文件的，如图：

这一切准备好了，你就开始进行分词测试了，请如图进行测试：

上图是对自定义新词进行分词测试，么么哒和啪啪啪之所以能被分出来，是因为我们在library\ext.dic自定义词典文件中添加了那两个词语。