solr增量索引
solr本地core目录D:\solr_home\solr\forumTopic\conf下得db-data-config.xml配置如下
deltaImportQuery="SELECT * from blc_forum_topic where topic_status=0 and topic_id = '${dataimporter.delta.id}'"
deltaQuery="SELECT topic_id as id from blc_forum_topic where topic_status=0 and last_comment_time > '${dataimporter.last_index_time}'">
'${dataimporter.delta.id}'是取到deltaQuery查询得到的id数据然后,deltaImportQuery。根据id匹配的数据执行增量导入
solr定时增量索引
参考:官方文档,http://wiki.apache.org/solr/DataImportHandler#Scheduling
googlecode 找到:https://code.google.com/p/solr-dataimport-scheduler/
1.复制solr-4.2.11\solr-4.2.1\dist目录下solr-dataimporthandler-4.2.1.jar 和solr-dataimporthandler-extras-4.2.1.jar到tomcat目录的
\webapps\solr\WEB-INF\lib目录下
2.从https://code.google.com/p/solr-dataimport-scheduler/downloads/list 下载apache-solr-dataimportscheduler-1.0-with-source.jar到tomcat目录的
\webapps\solr\WEB-INF\lib目录下
此三个jar包也可在我的网盘下载:http://pan.baidu.com/s/1kTxkNEB
3.取出apache-solr-dataimportscheduler-1.0-with-source.jar内的dataimport.properties到自己tomca的webapps\solr\WEB-INF\web.xml配置的solrhome目录下
即放到 D:/solr_home/solr/conf (不是D:/solr_home/solr/core/conf) 目录下面conf文件夹是没有的,要新建
例如如下图
solr/home
D:/solr_home/solr
java.lang.String
这样的就放到D:/solr_home/solr/conf路径下
在web.xml下配置配置文件的路径
1
2
3
4
5
6
7
<
context-param
>
<
param-name
>autoDeltaImportConfPath
param-name
>
<
param-value
>/yourconfpath
param-value
>
context-param
>
<
listener
>
<
listener-class
>org.apache.solr.handler.dataimport.scheduler.ApplicationListener
listener-class
>
listener
>
4.修改D:\program\tomcat6\webapps\solr\WEB-INF\web.xml,在节点内,servlet节点前面加入
org.apache.solr.handler.dataimport.scheduler.ApplicationListener
5.修改dataimport.properties内容:
#################################################
# #
# dataimport scheduler properties #
# #
#################################################
# to sync or not to sync
# 1 - active; anything else - inactive
syncEnabled=1
# which cores to schedule
# in a multi-core environment you can decide which cores you want syncronized
# leave empty or comment it out if using single-core deployment
syncCores=forumTopic //更新的solr的core名称
# solr server name or IP address
# [defaults to localhost if empty]
server=localhost //服务器端地址
# solr server port
# [defaults to 80 if empty]
port=8080 //端口号
# application name/context
# [defaults to current ServletContextListener's context (app) name]
webapp=solr
# URL params [mandatory]
# remainder of URL
#增量,注意entity=forumTopic 即自己core的名称
params=/dataimport?command=delta-import&clean=false&commit=true&optimize=false&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false
# schedule interval
# number of minutes between two runs
# [defaults to 30 if empty] 增量更新的时间间隔
interval=1
# 重做索引的时间间隔,单位分钟,默认7200,即1天;
# 为空,为0,或者注释掉:表示永不重做索引
reBuildIndexInterval=1
# 重做索引的参数
reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true&optimize=true&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false
# 重做索引时间间隔的计时开始时间,第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000;
# 两种格式:2012-04-11 03:10:00 或者 03:10:00,后一种会自动补全日期部分为服务启动时的日期
reBuildIndexBeginTime=09:30:44
配置完成,启动tomcat即可,访问地址,查看是否正常。再检查core下得配置文件,看时间改变即成功
http://localhost:8080/solr/forumTopic/dataimport?command=delta-import&clean=true&commit=true&optimize=false&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false
注意:solr-dataimporthandler-4.10.4.jar会和solr项目冲突建议用solr-dataimporthandler-5.2.1.jar
如果solr-dataimporthandler-5.2.1.jar不可以,就用低版本试试,但是只能选择一个,否则solr-dataimporthandler-5.2.1.jar
冲突,如果这个jar有问题,访问就会出现如下图错误,初始化失败