solr的安装以及配置中文分词器

(转载自http://blog.csdn.net/liaomin416100569/article/details/77301756)

一 。solr简介

    solr是以lucene为内核开发的企业级搜索应用  应用程序可以通过http请求方式来提交索引,查询索引,提供了比lucene更丰富的查询语言,是一个高性能,高可用环境全文搜索引擎

二 。solr安装配置

     1》下载solr安装包  

solr所有版本 (http://archive.apache.org/dist/lucene/solr/) 

           这里下载 solr-5.5.4

     2》安装 解压将solr-5.5.4\server\solr-webapp下的webapp 拷贝到tomcat\webapps目录下 改名为solr 启动tomcat

       直接访问 出现404  找到tomcat/logs/localhost.2017-08-17.log 日志  出现以下异常

[html] view plain copy
  1. java.lang.NoClassDefFoundError: Failed to initialize Apache Solr: Could not find necessary SLF4j logging jars.   
  2. If using Jetty, the SLF4j logging jars need to go in the jetty lib/ext directory. For other containers,   
  3. the corresponding directory should be used. For more information, see: http://wiki.apache.org/solr/SolrLogging  
  4.     at org.apache.solr.servlet.CheckLoggingConfiguration.check(CheckLoggingConfiguration.java:27)  
  5.     at org.apache.solr.servlet.BaseSolrFilter.<clinit>(BaseSolrFilter.java:30)  


      可用看到缺少SLF4j包 应该去 应该去 解压包 /server/lib/ext下找到并拷贝到 tomcat/solr/lib目录下  然后重启

    继续访问 出现以下错误 

[html] view plain copy
  1. java.lang.NoSuchMethodError: javax.servlet.ServletInputStream.isFinished()Z  
  2.     org.apache.solr.servlet.SolrDispatchFilter.consumeInputFully(SolrDispatchFilter.java:284)  
  3.     org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:274)  
  4.     org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:208)  
    明显是Servlet版本不一致  tomcat6不支持solr5.54 加大tomcat版本 tomcat7也不支持 换成tomcat8  启动后访问 依然错误:

[html] view plain copy
  1. org.apache.solr.common.SolrException: Error processing the request. CoreContainer is either not initialized or shutting down.  
  2.     org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:217)  
  3.     org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:208)  
   是因为需要配置solrhome环境

   3》配置solrhome

     找到 tomcat\solr\WEB-INF\web.xml 编辑  找到以下这段(配置solrhome)  去掉注释 将第二个参数配置为本地任意一个目录即可 

[html] view plain copy
  1. <env-entry>  
  2.    <env-entry-name>solr/home</env-entry-name>  
  3.    <env-entry-value>D:\learn\solr-5.5.4\home</env-entry-value>  
  4.    <env-entry-type>java.lang.String</env-entry-type>  
  5. </env-entry>  
   找到solr解压包/server/solr目录拷贝所有文件到 以上web.xml指定的路径D:\learn\solr-5.5.4\home下 重启tomcat 访问

   http://localhost:8080/solor/index.html  或者 http://localhost:8080/solr/admin.html  

  

   4》配置core(core类似于数据库可以插入多个document(数据库表行)每个document拥有多个 field 数据库的列)

   solrhome下新建一个core目录  比如mycore

   拷贝 solr解压包下\server\solr\configsets\basic_configs到新建目录 mycore中

  进入solr管理网页 点击 core admin 添加该core

 

  点击Add core后 成功后 检查 mycore目录 发现多了 core.properties和data两个资源

 登陆solr管理网站发现 列表中多了mycore

 4》配置文件理解

    core/conf目录下的两个配置文件非常重要 

    managed-schema 主要用于配置 可以提交到该core的所有field定义,field的类型定义,唯一标识符等

    常用配置如下:

[html] view plain copy
  1. 定义字段 _version_ 类型为long  indexed="true" 会进行分词索引  stored="true"表示存储到磁盘  
  2. <field name="_version_" type="long" indexed="true" stored="true"/>  
  3. 定义字段 id required="true" 表示所有的document必须添加id字段 multiValued="false" 表示是否是多值字段  
  4. <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />   
  5. 定义动态字段 所以_i结尾的字段都可以写入到当前的core  
  6. <dynamicField name="*_i"  type="int"    indexed="true"  stored="true"/>  
  7. 定义唯一标识符的字段  
  8. <uniqueKey>id</uniqueKey>  
  9. 定义字段类型的别名  
  10. <fieldType name="string" class="solr.StrField" sortMissingLast="true" />  
  solrconfig.xml 主要用于配置solor的主要配置信息 比如lucene版本 缓存 数据目录 请求路径映射 等 

[html] view plain copy
  1. 表示lucene版本  
  2. <luceneMatchVersion>5.5.4</luceneMatchVersion>  
  3. 表示数据目录 默认是data目录  
  4. <dataDir>${solr.data.dir:}</dataDir>   
  5. 自动提交配置  
  6. <autoCommit>   
  7.        当超过15000ms后自动提交所有数据  
  8.        <maxTime>${solr.autoCommit.maxTime:15000}</maxTime>   
  9.        是否马上就可以查询到  
  10.        <openSearcher>false</openSearcher>   
  11. </autoCommit>  
  12. 表示当路径为 /select时查询所有的数据  
  13. <requestHandler name="/select" class="solr.SearchHandler">  
  14.     <!-- default values for query parameters can be specified, these  
  15.          will be overridden by parameters in the request  
  16.       -->  
  17.      <lst name="defaults">  
  18.        <str name="echoParams">explicit</str>  
  19.        <int name="rows">10</int>  
  20.      </lst>  
  21. </requestHandler>  
 尝试在界面上添加数据和查询数据

 添加数据

 

 查询结果

 

查询的参数列表

  q表示查询的条件  字段名:值的格式

  fq表示filter query 过滤条件 和q是and的关系支持各种逻辑运算符 (参考https://cwiki.apache.org/confluence/display/solr/The+Standard+Query+Parser)

  sort表示排序 的字段  字段名 asc|desc 

  start 表示从第几行开始  rows表示查询的总行数

  fl表示查询显示的列 比如只需要查询 name_s,sex_i 这两列 使用,隔开

  df表示默认的查询字段 一般不设置

  Raw Query Parameters表示原始查询字段 可以使用 start=0&rows=10这种url的方式传入参数

  wt(write type)表示写入的格式 可以使用json和xml

  shards 多核同时搜索 solrhome拷贝mycore为mycore1  管理平台添加core   设置参数为 路径,路径来设置需要搜索的核

[html] view plain copy
  1. String shards = "localhost:8080/solr/mycore,localhost:8080/solr/mycore1";   
  2. query.set("shards", shards);  

  其他参考(https://cwiki.apache.org/confluence/display/solr/Common+Query+Parameters)

 5》配置中文分词器

   默认solr 没有使用中文分词器  所有搜索的词 都是整个句子就是一个词 搜索时 将单词全部写入才能搜索或者使用* 需要配置中文分词器

目前比较好用的分词器 是IK  2012年停更 只支持到 Lucene4.7 所有 solr5.5 需要lucene5支持  需要修改部分源码来支持solr5.5

 找到 IKAnalyzer类   需要重写  protected TokenStreamComponents createComponents(String fieldName) 方法

 找到 IKTokenizer类 需要重写构造方法  public IKTokenizer(Reader in, boolean useSmart) 为  public IKTokenizer(boolean useSmart) {

 在任意项目中 使用maven 引用lucene5 和ik view plai

<dependencies>
		<dependency>
			<groupId>com.janeluo</groupId>
			<artifactId>ikanalyzer</artifactId>
			<version>2012_u6</version>
			<!-- 解决jar包冲突问题,将lucene4.7的jar全部排出,因为版本会冲突,ik只支持Lucene4.7 -->
			<exclusions>
				<exclusion>
					<groupId>org.apache.lucene</groupId>
					<artifactId>lucene-core</artifactId>
				</exclusion>
				<exclusion>
					<groupId>org.apache.lucene</groupId>
					<artifactId>lucene-queries</artifactId>
				</exclusion>
				<exclusion>
					<groupId>org.apache.lucene</groupId>
					<artifactId>lucene-sandbox</artifactId>
				</exclusion>
				<exclusion>
					<groupId>org.apache.lucene</groupId>
					<artifactId>lucene-queryparser</artifactId>
				</exclusion>
				<exclusion>
					<groupId>org.apache.lucene</groupId>
					<artifactId>lucene-analyzers-common</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		<!-- 引入Lucene5.5.4 -->
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-core</artifactId>
			<version>5.5.4</version>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-core</artifactId>
			<version>5.5.4</version>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-queries</artifactId>
			<version>5.5.4</version>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-sandbox</artifactId>
			<version>5.5.4</version>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-queryparser</artifactId>
			<version>5.5.4</version>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-analyzers-common</artifactId>
			<version>5.5.4</version>
		</dependency>
	</dependencies>
 cop在项目中 添加完整的包名和类名 和 ik中一致 拷贝源代码



代码修改对应的方法即可

IKAnalyzer

[html] view plain copy
  1. /**  
  2.   
  3.  *  
  4.  */  
  5. package org.wltea.analyzer.lucene;  
  6.   
  7. import java.io.Reader;  
  8.   
  9. import org.apache.lucene.analysis.Analyzer;  
  10. import org.apache.lucene.analysis.Tokenizer;  
  11.   
  12. /**  
  13.  */  
  14. public final class IKAnalyzer extends Analyzer {  
  15.   
  16.   private boolean useSmart;  
  17.   
  18.   public boolean useSmart() {  
  19.     return useSmart;  
  20.   }  
  21.   
  22.   public void setUseSmart(boolean useSmart) {  
  23.     this.useSmart = useSmart;  
  24.   }  
  25.   
  26.   /**  
  27.   
  28.    */  
  29.   public IKAnalyzer() {  
  30.     this(false);  
  31.   }  
  32.   
  33.   /**  
  34.    */  
  35.   public IKAnalyzer(boolean useSmart) {  
  36.     super();  
  37.     this.useSmart = useSmart;  
  38.   }  
  39.   
  40.   /**这里就去掉了 Reader的一个参数  
  41.    */  
  42.   @Override  
  43.   protected TokenStreamComponents createComponents(String fieldName) {  
  44.     Tokenizer _IKTokenizer = new IKTokenizer(this.useSmart());  
  45.     return new TokenStreamComponents(_IKTokenizer);  
  46.   }  
  47.   
  48. }  

IKTokenizer

[html] view plain copy
  1. /**  
  2.  *   
  3.  */  
  4. package org.wltea.analyzer.lucene;  
  5.   
  6. import java.io.IOException;  
  7. import java.io.Reader;  
  8.   
  9. import org.apache.lucene.analysis.Tokenizer;  
  10. import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;  
  11. import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;  
  12. import org.apache.lucene.analysis.tokenattributes.TypeAttribute;  
  13.   
  14. import org.wltea.analyzer.core.IKSegmenter;  
  15. import org.wltea.analyzer.core.Lexeme;  
  16.   
  17.   
  18. public final class IKTokenizer extends Tokenizer {  
  19.   
  20.   
  21.   private IKSegmenter _IKImplement;  
  22.   
  23.   
  24.   private final CharTermAttribute termAtt;  
  25.   
  26.   private final OffsetAttribute offsetAtt;  
  27.   
  28.   private final TypeAttribute typeAtt;  
  29.   
  30.   private int endPosition;  
  31.   
  32.   //去掉了其中Reader的第一个构造参数  
  33.   public IKTokenizer(boolean useSmart) {  
  34.     super();//去掉super中的构造参数  
  35.     offsetAtt = addAttribute(OffsetAttribute.class);  
  36.     termAtt = addAttribute(CharTermAttribute.class);  
  37.     typeAtt = addAttribute(TypeAttribute.class);  
  38.     _IKImplement = new IKSegmenter(input, useSmart);  
  39.   }  
  40.   
  41.    
  42.   @Override  
  43.   public boolean incrementToken() throws IOException {  
  44.   
  45.     clearAttributes();  
  46.     Lexeme nextLexeme = _IKImplement.next();  
  47.     if (nextLexeme != null) {  
  48.   
  49.       termAtt.append(nextLexeme.getLexemeText());  
  50.      
  51.       termAtt.setLength(nextLexeme.getLength());  
  52.         
  53.       offsetAtt.setOffset(nextLexeme.getBeginPosition(), nextLexeme.getEndPosition());  
  54.      
  55.       endPosition = nextLexeme.getEndPosition();  
  56.     
  57.       typeAtt.setType(nextLexeme.getLexemeTypeString());  
  58.   
  59.       return true;  
  60.     }  
  61.   
  62.     return false;  
  63.   }  
  64.   
  65.   /*  
  66.    * (non-Javadoc)  
  67.    * @see org.apache.lucene.analysis.Tokenizer#reset(java.io.Reader)  
  68.    */  
  69.   @Override  
  70.   public void reset() throws IOException {  
  71.     super.reset();  
  72.     _IKImplement.reset(input);  
  73.   }  
  74.   
  75.   @Override  
  76.   public final void end() {  
  77.     // set final offset  
  78.     int finalOffset = correctOffset(this.endPosition);  
  79.     offsetAtt.setOffset(finalOffset, finalOffset);  
  80.   }  
  81. }  
将编译好的class文件(如此路径:E:\eclipsWorkspace\IK\target\classes\org\wltea\analyzer\lucene)替换原始jar包即可

将solrhome下 配置文件managed-schema 添加一个字段类型 使用ik分词器

[html] view plain copy
  1. <fieldType name="text_ik" class="solr.TextField" >  
  2.       <analyzer type="index" isMaxWordLength="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/>     
  3.       <analyzer type="query" isMaxWordLength="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/>   
  4.     </fieldType>  
不能修改 StrField 不支持自定义分词器

<fieldType name="string" class="solr.StrField" sortMissingLast="true" >
</fieldType>


然后将对应需要进行中文分词的字段使用 text_ik该字段类型 比如

[html] view plain copy
  1. <dynamicField name="*_s"  type="text_ik"  indexed="true"  stored="true" />  
重启 或者 cloud环境下重新生成collection 插入数据即可实现中文分词  通过某些中文关键字搜索
展开阅读全文

没有更多推荐了,返回首页