Solr 的全量更新与增量更新

最新推荐文章于 2024-08-29 22:33:34 发布

大脑博客

最新推荐文章于 2024-08-29 22:33:34 发布

阅读量1.3k

点赞数

本文链接：https://blog.csdn.net/weixin_50048212/article/details/108248659

版权

本文详细介绍了Solr的全量更新与增量更新方法。全量更新包括配置solrconfig.xml、data-config.xml和managed-schema文件，并提供数据库配置建议。增量更新则在全量基础上增加deltaQuery、deltaImportQuery等配置，并介绍了手动和自动更新的方式，包括Solr自带的定时任务和Windows计划任务的设置方法。

摘要由CSDN通过智能技术生成

Solr 的全量更新与增量更新

1.全量更新

全量，这个很好理解。就是每天定时（避开业务高峰期）或者周期性全量把数据从一个地方拷贝到另外一个地方；

全量的话，可以采用直接全部覆盖（使用“新”数据覆盖“旧”数据）；或者走更新逻辑（覆盖前判断下，如果新旧不一致，就更新）；

这里面有一个隐藏的问题：如果采用异步写，主数据物理删除了，怎么直接通过全量数据同步？这就需要借助一些中间操作日志文件，或者其他手段，把这些“看不到”的数据记录起来。

2.增量更新

增量的基础是全量，就是你要使用某种方式先把全量数据拷贝过来，然后再采用增量方式同步更新。

增量的话，就是指抓取某个时刻（更新时间）或者检查点（checkpoint）以后的数据来同步，不是无规律的全量同步。这里引入一个关键性的前提：副本一端要记录或者知道（通过查询更新日志或者订阅更新）哪些更新了。

1.solr 的全量更新

1.core/conf 目录下的 solrconfig.xml，新增如下配置

 <!--添加如下配置 增加resultHandler配置  -->
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults"> 
    <str name="config">data-config.xml</str> 
    </lst> 
</requestHandler>

2 在core/conf 目录下的新建 data-config.xml 文件,新增如下配置

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig> 
    <!--数据源-->
    <dataSource type="JdbcDataSource"
                driver="com.mysql.jdbc.Driver"
                url="jdbc:mysql://192.168.2.10:3306/xt"
                user="root"
                password=""/>
    <document> 
        <entity name="solrTest" 
        query="SELECT fid,ftime,fcontent,ftitle,flastupdatetime FROM solrTest">
            <!--查询的数据和数据库索引意义对应column 是查询的字段name 是solr索引对应的字段-->
            <field column="fid