Solr 的全量更新与增量更新

本文详细介绍了Solr的全量更新与增量更新方法。全量更新包括配置solrconfig.xml、data-config.xml和managed-schema文件,并提供数据库配置建议。增量更新则在全量基础上增加deltaQuery、deltaImportQuery等配置,并介绍了手动和自动更新的方式,包括Solr自带的定时任务和Windows计划任务的设置方法。
摘要由CSDN通过智能技术生成

Solr 的全量更新与增量更新

1.全量更新

全量,这个很好理解。就是每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方;

全量的话,可以采用直接全部覆盖(使用“新”数据覆盖“旧”数据);或者走更新逻辑(覆盖前判断下,如果新旧不一致,就更新);

这里面有一个隐藏的问题:如果采用异步写,主数据物理删除了,怎么直接通过全量数据同步?这就需要借助一些中间操作日志文件,或者其他手段,把这些“看不到”的数据记录起来。

2.增量更新

增量的基础是全量,就是你要使用某种方式先把全量数据拷贝过来,然后再采用增量方式同步更新。

增量的话,就是指抓取某个时刻(更新时间)或者检查点(checkpoint)以后的数据来同步,不是无规律的全量同步。这里引入一个关键性的前提:副本一端要记录或者知道(通过查询更新日志或者订阅更新)哪些更新了。

1.solr 的全量更新

1.core/conf 目录下的 solrconfig.xml,新增如下配置

 <!--添加如下配置 增加resultHandler配置  -->
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults"> 
    <str name="config">data-config.xml</str> 
    </lst> 
</requestHandler> 

2 在core/conf 目录下的新建 data-config.xml 文件,新增如下配置

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig> 
    <!--数据源-->
    <dataSource type="JdbcDataSource"
                driver="com.mysql.jdbc.Driver"
                url="jdbc:mysql://192.168.2.10:3306/xt"
                user="root"
                password=""/>
    <document> 
        <entity name="solrTest" 
        query="SELECT fid,ftime,fcontent,ftitle,flastupdatetime FROM solrTest">
            <!--查询的数据和数据库索引意义对应column 是查询的字段name 是solr索引对应的字段-->
            <field column="fid
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您可以按照以下步骤配置Solr增量更新: 1. 在Solr的web.xml文件中添加增量更新监听器。在web.xml文件中添加以下代码段: ``` <listener> <listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener</listener-class> </listener> ``` 这将引入增量更新的监听器。 2. 配置solrconfig.xml文件。在solrconfig.xml文件中,您需要配置以下内容: - 设置dataImportHandler请求处理器。确保以下的请求处理器配置在solrconfig.xml的<requestHandler>部分中: ``` <requestHandler name="/dataimport" class="solr.DataImportHandler"> <lst name="defaults"> <str name="config">solr-data-config.xml</str> </lst> </requestHandler> ``` - 设置自动调度器。在solrconfig.xml的<config>部分中添加以下配置: ``` <autoCommit> <maxDocs>10000</maxDocs> <maxTime>15000</maxTime> </autoCommit> <updateHandler class="solr.DirectUpdateHandler2"> <updateLog> <str name="dir">${solr.data.dir:}</str> </updateLog> </updateHandler> <requestDispatcher handleSelect="true" > <requestParsers enableRemoteStreaming="true" multipartUploadLimitInKB="2048000" /> </requestDispatcher> ``` - 配置增量更新定时任务。在solrconfig.xml的<config>部分中添加以下配置: ``` <dataConfig> <dataSource type="JdbcDataSource" driver="your_driver" url="your_jdbc_url" user="your_username" password="your_password" /> <document> <entity name="<your_entity_name>" query="<your_query>" deltaQuery="SELECT id FROM your_table WHERE last_modified > '${dataimporter.last_index_time}'"> <field column="id" name="id" /> <!-- 增加其他字段 --> </entity> </document> </dataConfig> ``` 注意替换上述代码中的占位符,例如your_driver、your_jdbc_url、your_username、your_password、your_entity_name、your_query和your_table,根据您的实际情况配置。 3. 配置managed-schema文件。确保managed-schema文件中包含增量更新需要的字段定义。 4. 下载并安装增量更新的jar包。从https://code.google.com/p/solr-dataimport-scheduler/downloads/list下载apache-solr-dataimportscheduler-1.0-with-source.jar,并将它放置在Tomcat目录的相应位置。 完成上述配置后,您可以启动项目并开始使用Solr增量更新功能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [solr自动增量更新](https://blog.csdn.net/SSHH_ZHU/article/details/103968258)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Solr增量更新全量更新对比](https://blog.csdn.net/qq_42941671/article/details/108324169)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [solr配置增量更新和定时更新数据库索引](https://blog.csdn.net/weixin_33433067/article/details/113541424)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值