solr配置增量更新和定时更新数据库索引

solr增量索引

    solr本地core目录D:\solr_home\solr\forumTopic\conf下得db-data-config.xml配置如下

<dataConfig>

    <!--<dataSource driver="org.postgresql.Driver" url="jdbc:postgresql://10.1.43.44:5432/broadleaf?useUnicode=true&amp;characterEncoding=utf8" user="postgres" password="123"/>-->

 <dataSource driver="org.postgresql.Driver" url="jdbc:postgresql://localhost:5432/broadleaf?useUnicode=true&amp;characterEncoding=utf8" user="postgres" password="123"/>

    <document>                                                                                                                                                                                                                                                                              

        <entity name="forumTopic" pk="id" query="SELECT * from blc_forum_topic where topic_status=0"

  deltaImportQuery="SELECT * from blc_forum_topic where topic_status=0 and topic_id  = '${dataimporter.delta.id}'"  

  deltaQuery="SELECT topic_id as id from blc_forum_topic where topic_status=0 and last_comment_time > '${dataimporter.last_index_time}'">

            <field column="topic_id" name="id" />

            <field column="clickcount" name="clickCount" />

   <field column="commentcount" name="commentCount" />

   <field column="favorited" name="favorited" />

   <field column="is_essence" name="isEssence" />

   <field column="is_top" name="isTop" />

        </entity>

   </document>

</dataConfig>

'${dataimporter.delta.id}'是取到deltaQuery查询得到的id数据然后，deltaImportQuery。根据id匹配的数据执行增量导入

solr定时增量索引

参考：官方文档,http://wiki.apache.org/solr/DataImportHandler#Scheduling

googlecode 找到：https://code.google.com/p/solr-dataimport-scheduler/

1.复制solr-4.2.11\solr-4.2.1\dist目录下solr-dataimporthandler-4.2.1.jar 和solr-dataimporthandler-extras-4.2.1.jar到tomcat目录的

\webapps\solr\WEB-INF\lib目录下

2.从https://code.google.com/p/solr-dataimport-scheduler/downloads/list 下载apache-solr-dataimportscheduler-1.0-with-source.jar到tomcat目录的

\webapps\solr\WEB-INF\lib目录下

此三个jar包也可在我的网盘下载：http://pan.baidu.com/s/1kTxkNEB

3.取出apache-solr-dataimportscheduler-1.0-with-source.jar内的dataimport.properties到自己tomca的webapps\solr\WEB-INF\web.xml配置的solrhome目录下

  即放到 D:/solr_home/solr/conf (不是D:/solr_home/solr/core/conf) 目录下面 conf文件夹是没有的，要新建

例如如下图

 <env-entry>

       <env-entry-name>solr/home</env-entry-name>

       <env-entry-value>D:/solr_home/solr</env-entry-value>

       <env-entry-type>java.lang.String</env-entry-type>

    </env-entry>

 这样的就放到D:/solr_home/solr/conf 路径下

在web.xml下配置配置文件的路径

1 2 3 4 5 6 7

< context-param >      < param-name >autoDeltaImportConfPath</ param-name >      < param-value >/yourconfpath</ param-value > </ context-param > < listener >      < listener-class >org.apache.solr.handler.dataimport.scheduler.ApplicationListener</ listener-class > </ listener >

4.修改D:\program\tomcat6\webapps\solr\WEB-INF\web.xml,在<web-app>节点内，servlet节点前面加入

<listener>

    <listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener</listener-class>

</listener>

5.修改dataimport.properties内容：

#################################################

#                                               #

#       dataimport scheduler properties         #

#                                               #

#################################################

#  to sync or not to sync

#  1 - active; anything else - inactive

syncEnabled=1

#  which cores to schedule

#  in a multi-core environment you can decide which cores you want syncronized

#  leave empty or comment it out if using single-core deployment

syncCores=forumTopic   //更新的solr的core名称

#  solr server name or IP address

#  [defaults to localhost if empty]

server=localhost   //服务器端地址

#  solr server port

#  [defaults to 80 if empty]

port=8080    //端口号

#  application name/context

#  [defaults to current ServletContextListener's context (app) name]

webapp=solr

#  URL params [mandatory]

#  remainder of URL

#增量，注意entity=forumTopic 即自己core的名称

params=/dataimport?command=delta-import&clean=false&commit=true&optimize=false&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false

#  schedule interval

#  number of minutes between two runs

#  [defaults to 30 if empty]  增量更新的时间间隔

interval=1

#  重做索引的时间间隔，单位分钟，默认7200，即1天; 

#  为空,为0,或者注释掉:表示永不重做索引

reBuildIndexInterval=1

#  重做索引的参数

reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true&optimize=true&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false

#  重做索引时间间隔的计时开始时间，第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000；

#  两种格式：2012-04-11 03:10:00 或者  03:10:00，后一种会自动补全日期部分为服务启动时的日期

reBuildIndexBeginTime=09:30:44

配置完成，启动tomcat即可，访问地址，查看是否正常。再检查core下得配置文件，看时间改变即成功

     http://localhost:8080/solr/forumTopic/dataimport?command=delta-import&clean=true&commit=true&optimize=false&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false

注意：solr-dataimporthandler-4.10.4.jar会和solr项目冲突建议用solr-dataimporthandler-5.2.1.jar

如果solr-dataimporthandler-5.2.1.jar不可以，就用低版本试试，但是只能选择一个，否则solr-dataimporthandler-5.2.1.jar

冲突，如果这个jar有问题，访问就会出现如下图错误，初始化失败