Solr7.7定时自动重做全量更新和增量更新,亲测有效

最近在做一个solr的全文检索,但是由于不想每次都是手动的去做更新操作,所以网上百度了很多。几乎都已经失效了。最后终于找到了自己想要的,然后根据自己的理解做了这个笔记,希望对大家有用。
首先
我的solr服务器是独立的那种。

进入正题

  1. 第一步
    下载定时的jar包:一定要下载我的这个jar,好多人的jar包是没有维护过的,启动可能会报空指针或者503、方法未找到等错误(没有币可以去某宝找)
    solr-dataimport-scheduler(solr7.7).jar
  2. 第二步
    下载的jar包放进服务器的WEB-INF的lib下:具体如下

文件目录:solr-7.7.2\server\solr-webapp\webapp\WEB-INF\lib

  1. 第三步
    在WEB-INF的web.xml配置文件中添加监听(注意:这个标签是跟servlet标签同级,并且在servlet标签之前,懂的都懂)
	<listener>
          <listener-class>
                org.apache.solr.handler.dataimport.scheduler.ApplicationListener
          </listener-class>
	</listener>

4.第四步
在solr文件夹下创建一个conf文件夹,与core平级,如下图
目录结构
5.第五步
进入conf,创建配置文件,命名为:dataimport.properties
内容:

#################################################

#                                               #

#       dataimport scheduler properties         #

#                                               #

#################################################

 

#  to sync or not to sync

#  1 - active; anything else - inactive

syncEnabled=1

 

#  which cores to schedule

#  in a multi-core environment you can decide which cores you want syncronized

#  leave empty or comment it out if using single-core deployment
#  多核心,在多个核心的情况下,有哪些核心需要参与到这次自动更新,逗号是分隔符
syncCores=dbmovie,dbmtype,dbperson

 

#  solr server name or IP address

#  [defaults to localhost if empty]
#访问ip
server=localhost

 

#  solr server port

#  [defaults to 80 if empty]
#访问端口
port=8983

 

#  application name/context
#  [defaults to current ServletContextListener's context (app) name]
#项目访问名称
webapp=solr

 


#增量更新的url参数
params=/dataimport?command=delta-import&clean=false&commit=true

#增量更新的时间间隔,分钟数,为空则默认30分钟
interval=1

 

#  重做索引的时间间隔,单位分钟,默认7200,即5天;
#  为空,为0,或者注释掉:表示永不重做索引
reBuildIndexInterval=7200

 

#  重做全量索引的参数
reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true

 

#  重做索引时间间隔的计时开始时间,第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000;
#  两种格式:2012-04-11 03:10:00 或者  03:10:00,后一种会自动补全日期部分为服务启动时的日期

reBuildIndexBeginTime=03:10:00

然后启动命令,可以省略 start

solr -f

参数 -f 表示前台启动,可以看到打印的log日志,关闭窗口就代表关闭服务
6.结果
如果启动时报空指针异常,可能是dataimport.properties配置文件不对,检查下路径,也有人说应该放在solr文件夹下solr.xml文件中配置的home路径下,但是我去看了这个xml,没有这个home路径
solr.xml

所以我就直接把properties文件放在了 第4步 的 conf 文件夹下
最后成功的样子,控制台可以看到每隔一分钟就会有增量索引的查询
在这里插入图片描述
如果本文中有错误的地方,尽管批评指正。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
您可以按照以下步骤配置Solr增量更新: 1. 在Solr的web.xml文件中添加增量更新监听器。在web.xml文件中添加以下代码段: ``` <listener> <listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener</listener-class> </listener> ``` 这将引入增量更新的监听器。 2. 配置solrconfig.xml文件。在solrconfig.xml文件中,您需要配置以下内容: - 设置dataImportHandler请求处理器。确保以下的请求处理器配置在solrconfig.xml的<requestHandler>部分中: ``` <requestHandler name="/dataimport" class="solr.DataImportHandler"> <lst name="defaults"> <str name="config">solr-data-config.xml</str> </lst> </requestHandler> ``` - 设置自动调度器。在solrconfig.xml的<config>部分中添加以下配置: ``` <autoCommit> <maxDocs>10000</maxDocs> <maxTime>15000</maxTime> </autoCommit> <updateHandler class="solr.DirectUpdateHandler2"> <updateLog> <str name="dir">${solr.data.dir:}</str> </updateLog> </updateHandler> <requestDispatcher handleSelect="true" > <requestParsers enableRemoteStreaming="true" multipartUploadLimitInKB="2048000" /> </requestDispatcher> ``` - 配置增量更新定时任务。在solrconfig.xml的<config>部分中添加以下配置: ``` <dataConfig> <dataSource type="JdbcDataSource" driver="your_driver" url="your_jdbc_url" user="your_username" password="your_password" /> <document> <entity name="<your_entity_name>" query="<your_query>" deltaQuery="SELECT id FROM your_table WHERE last_modified > '${dataimporter.last_index_time}'"> <field column="id" name="id" /> <!-- 增加其他字段 --> </entity> </document> </dataConfig> ``` 注意替换上述代码中的占位符,例如your_driver、your_jdbc_url、your_username、your_password、your_entity_name、your_query和your_table,根据您的实际情况配置。 3. 配置managed-schema文件。确保managed-schema文件中包含增量更新需要的字段定义。 4. 下载并安装增量更新的jar包。从https://code.google.com/p/solr-dataimport-scheduler/downloads/list下载apache-solr-dataimportscheduler-1.0-with-source.jar,并将它放置在Tomcat目录的相应位置。 完成上述配置后,您可以启动项目并开始使用Solr增量更新功能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [solr自动增量更新](https://blog.csdn.net/SSHH_ZHU/article/details/103968258)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Solr增量更新全量更新对比](https://blog.csdn.net/qq_42941671/article/details/108324169)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [solr配置增量更新定时更新数据库索引](https://blog.csdn.net/weixin_33433067/article/details/113541424)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值