SOLR的简单环境搭建及与数据库建立索引

原创 2015年11月18日 21:48:56

前言

Solr 是一种可供企业使用的、基于 Lucene 的搜索服务器,它支持层面搜索、命中醒目显示和多种输出格式。

Solr对外提供标准的http接口来实现对数据的索引的增加、删除、修改、查询。在Solr中,用户通过向部署在servlet 容器中的Solr Web应用程序发送HTTP 请求来启动索引和搜索。

公司项目需要增加全文搜索功能。所以学习搭建了solr服务。

我使用的项目环境:

  • Java运行环境(JRE)版本1.6。
  • apache-tomcat-6.0.44。
  • solr-4.6.1。

solr安装与配置

  1. 第一步: exmaple/webapps中的solr.war包解压开复制到Tomcat webapps中,或者直接将solr.war包直接复制到Tomcat的webapps中,然后启动Tomcat使其解压开再将war包删除。这时如果启动Tomcat是会报错的,因为我们没有设置solr_home(也就是索引和配置文件所在的目录)。

  2. 第二步: 配置solr_home。编辑solr_server\webapps\solr\WEB-INF\web.xml中内容,添加以下内容:

    <env-entry>
        <env-entry-name>solr/home</env-entry-name>
            <env-entry-value>..\webapps\solr\solr_home</env-entry-value>
        <env-entry-type>java.lang.String</env-entry-type>
    </env-entry>
    

    配置完了还需要在配置的路径处放置一个文件夹作为SOLR_HOME(solr的example中已经提供),我们将example/solr目录拷贝到solr项目目录下(这里是%TOMCAT_HOME%/webapps/solr/),并重命名为solr_home(根据自己的配置决定)。

  3. 第三步: 添加日志相关包。复制example/lib/ext目录中的jar包到项目的classpath下,可以将这些jar包放到/webapps/solr/WEB-INF/lib下。

    example/resources/log4j.properties也拷到classpath(我在/solr_server/webapps/solr/目录下新建了一个classes目录,放log4j.properties放了进去)

  4. 第四步:启动tomcat,查看。
    如下页面说明安装成功:
    sorl_admin

使用中文分词mmseg4j

  1. 下载mmseg4j分词器:https://code.google.com/p/mmseg4j/

    我使用的版本为:mmseg4j-1.9.1。

    在mmseg4j-1.9.1\dist下有以下三个包:

    • mmseg4j-core-1.9.1.jar 包括词库文件
    • mmseg4j-analysis-1.9.1.jar 是一些 analysis
    • mmseg4j-solr-1.9.1.jar 是一些 solr 使用的功能。

    在 solr 中使用需要使用以上三个 *.jar 放到 solr 实例目录的 lib 目录下(\solr\WEB-INF\lib)

  2. schema.xml配置

    • 在mmseg4j-1.9.0前。需要copy data目录到solr_home/solr中,并改名为dic(或者网上下载分词库,如搜狗等,为*.dic文件)。进入到你想使用mmseg4j分词器的core中(此处以solr自带的collection1为例),用编辑器打开collection1/conf/schema.xml配置文件,添加如下代码:

      <!-- mmseg4j分词器 -->
       <fieldType name="text_mmseg4j" class="solr.TextField" >
       <analyzer type="index">
       <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="../dic" /><!--此处为分词器词典所处位置-->
       </analyzer>
       <analyzer type="query">
       <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="../dic" /><!--此处为分词器词典所处位置-->
       </analyzer>
       </fieldType>
      
    • 在mmseg4j-1.9.0后,如本例的mmseg4j-1.9.1中 ,就 可以不用 dicPath 参数,可以使用 mmseg4j-core-1.9.0.jar 里的 words.dic ,在Schema.xml中加入如下配置:

      <!-- mmseg4j-->
        <fieldType name="text_mmseg4j_complex" class="solr.TextField" positionIncrementGap="100" >  
      <analyzer>  
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="dic"/>  
      </analyzer>  
        </fieldType>  
        <fieldType name="text_mmseg4j_maxword" class="solr.TextField" positionIncrementGap="100" >  
      <analyzer>  
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="dic"/>  
      </analyzer>  
        </fieldType>  
        <fieldType name="text_mmseg4j_simple" class="solr.TextField" positionIncrementGap="100" >  
      <analyzer>  
        <!--
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="n:/OpenSource/apache-solr-1.3.0/example/solr/my_dic"/> 
        -->
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="dic"/>     
      </analyzer>  
        </fieldType>
        <!-- mmseg4j-->
      
  3. 引用mmseg4j分词器

只需要在该schema.xml中加入如下配置便可引用对应的mmseg4j分词器:

<field name="mmseg4j_complex_name" type="text_mmseg4j_complex" indexed="true" stored="true"/>
   <field name="mmseg4j_maxword_name" type="text_mmseg4j_maxword" indexed="true" stored="true"/>
   <field name="mmseg4j_simple_name" type="text_mmseg4j_simple" indexed="true" stored="true"/>

通过以上步骤就可以成功配置mmseg4j分词器到solr中了。

然后就可以打开Solr Admin的Page进行分词分析了。但当输入中文(如中国浙江杭州)并点击“Analyse Values”进行分析时,会发现如下的错误:

TokenStream contract violation: reset()/close() call missing, reset() called multiple times, or subclass does not call super.reset(). Please see Javadocs of TokenStream class for more information about the correct consuming workflow.

该原因是源码的一个bug引起的,需要修改上面下载的mmseg4j-analysis-1.9.1.zip解压后的mmseg4j-analysis目录下的类:MMSegTokenizer.java,修改reset()方法并加上下面注释中的这一句:

public void reset() throws IOException {
    //lucene 4.0
    //org.apache.lucene.analysis.Tokenizer.setReader(Reader)
    //setReader 自动被调用, input 自动被设置。
    super.reset();   //加这一句
    mmSeg.reset(input);
  }

修改后可以使用eclipse将整个solr源码文件当做MVN项目导入,然后重新导出mmseg4j-analysis-1.9.1.jar 包,并放入自己的项目中。即可。

重新启动Tomcat并访问Solr Admin Page,并在“Analysis”中输入中文进行分析,可以看到已经成功的进行分析:
analysis

sorl对数据库建立索引

数据库使用mysql数据库

  1. solrconfig.xml配置
    在solr\solr_home\collection1\conf中找到solrconfig.xml,添加

    <!-- DataImportHandler -->
    <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"> 
    <lst name="defaults"> 
        <str name="config">db-data-config.xml</str>
    </lst> 
    </requestHandler>
    
  2. 在solr\solr_home\collection1\conf下创建db-data-config.xml文件,并添加内容:

    <dataConfig>
        <dataSource type="JdbcDataSource"
                    driver="com.mysql.jdbc.Driver"
                    url="jdbc:mysql://localhost:3306/test?useUnicode=true&amp;characterEncoding=utf8"
                    user="root"
                    password="root" />
        <document name="test" pk="id">
            <entity name="user_inf"
                    transformer="ClobTransformer"
                    query="select id,realname,position,username,sex from user_inf">
                <field column="id" name="id" />
                <field column="realname" name="realname" />
                <field column="position" name="position" />
                <field column="username" name="username" />
                <field column="sex" name="sex" />
            </entity>
        </document>
    </dataConfig>
    

    说明:

    dataSource是数据库数据源。

    Entity就是一张表对应的实体,pk是主键,query是查询语句。

    Field对应一个字段,column是数据库里的column名,后面的name属性对应着Solr的Filed的名字。

  3. 修改同目录下的schema.xml,这是Solr对数据库里的数据进行索引的模式

    (1)保留_version_ 这个field

    (2)添加索引字段:这里每个field的name要和data-config.xml里的entity的field的name一样,一一对应。

    <field name="realname" type="text_general" indexed="true" stored="true"/>   
    <field name="position" type="text_general" indexed="true" stored="true"/>   
    <field name="username" type="text_general" indexed="true" stored="true"/>   
    <field name="sex" type="text_general" indexed="true" stored="true"/>    
    

    (3)可以将多余的field删除,删除copyField里的设置,这些用不上。注意:text这个field不能删除,否则Solr启动失败。

  4. 拷贝mysql-connector-java-5.1.22-bin.jarsolr-dataimporthandler-4.10.3.jar到D:\Solr\solr-4.10.3\example\solr-webapp\webapp\WEB-INF\lib。一个是mysql的java驱动,另一个在D:\Solr\solr-4.10.3\dist目录里,是org.apache.solr.handler.dataimport.DataImportHandler所在的jar包。

  5. 测试。
    dataimport

点击execute按钮后,稍等一段时间可点击refresh status按钮刷新,若看到绿框内的内容,说明导入成功。
query

这里可以查询到数据库导入的数据,通过设置q蓝框内的字段名:值,可以设置查询条件。

问题解决

严重: Exception starting filter SolrRequestFilter

java.lang.UnsupportedClassVersionError: org/apache/solr/servlet/SolrDispatchFilter : Unsupported major.minor version 51.0 (unable to load class org.apache.solr.servlet.SolrDispatchFilter)

解决方法

Unsupported major.minor version 51.0

说明solr编译的jdk与现在使用的jdk版本不支持,是因为所运行环境的jdk版本太低。在下载solr之前,需要先确定solr的版本, 目前最新版本是 4.10.1,但是在 4.8 以后需要编译在1.7的版本。所以如果是JDK1.6环境,建议使用4.8之前的版本(例如4.7.2)。

参考

中文分词整合参考:http://www.tuicool.com/articles/67BFFz

数据库数据导入生成索引:http://www.sjsjw.com/kf_jiagou/article/32_31269_3639.asp

Solr索引MySQL数据:http://www.cnblogs.com/luxiaoxun/p/4442770.html

lucene简单介绍及solr搭建使 用:http://download.csdn.net/detail/u013569416/9280891

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

solr5.3.1 windows环境搭建及导入mysql数据创建索引

solr5.3.1经典模式 windows搭建 1.下载地址: http://archive.apache.org/dist/lucene/solr/5.3.1/solr-5.3.1.zip 2.进...

solr 6.2.0系列教程(一)环境搭建、索引仓库创建

一、开发环境 1、jdk版本:jdk1.8(solr 6版本基于jdk1.8开发) 2、tomcat版本:tomcat -8.0 3、solr版本:solr-6.2.0(可到solr官网下载) 4、开...

solr-4.10.4环境搭建+导入数据库+中文分词

solr配置 1.安装java2.安装tomcat 注意,修改tomcat的字符编码: 3.将solr-4.10.4.zip压缩包解压4.将exmaple/webapps中的solr.war包解...

SOLR:APACHE版solr环境搭建及作为Hbase二级索引使用

SOLR:APACHE版环境搭建及使用

solr环境搭建详解

  • 2015年07月28日 17:30
  • 251KB
  • 下载

solr单节点环境搭建

  • 2015年07月16日 17:14
  • 19KB
  • 下载

DERBY数据库环境搭建以及简单使用

1 derby数据库 Apache Derby 项目的目标是构建一个完全用 Java 编程语言编写的、易于使用却适合大多数应用程序的开放源码数据库。   特点: l 程序小巧,基础引擎和内嵌的...

solr5.5之从数据库中导入数据并建立索引

前面已经介绍了solr-5.5.0的安装与部署,接下来我将分享solr-5.5.0数据导入之从数据库中导入数据并建立索引的例子。由于本人也是刚刚接触solr,不足之处,请大家多多见谅。solr和luc...
  • jcncsdn
  • jcncsdn
  • 2016年04月09日 15:55
  • 3470

使用Apache Solr对数据库建立索引(包括处理CLOB、CLOB)

以下资料整理自网络,觉的有必要合并在一起,这样方便查看。主要分为两部分,第一部分是对《db-data-config.xml》的配置内容的讲解(属于高级内容),第二部分是DataImportHandle...
  • xzknet
  • xzknet
  • 2011年08月23日 10:16
  • 13564

使用Apache Solr对数据库建立索引(包括处理CLOB、CLOB)

以下资料整理自网络,觉的有必要合并在一起,这样方便查看。主要分为两部分,第一部分是对《db-data-config.xml》的配置内容的讲解(属于高级内容),第二部分是DataImportHandle...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:SOLR的简单环境搭建及与数据库建立索引
举报原因:
原因补充:

(最多只允许输入30个字)