solr全量更新和增量更新

1、全量更新

数据库的数据导入到 solr缓存库就是更新

在这里插入图片描述

full-import:全量更新,意思是重新把全部数据从数据库导入,一般会先删除现有的,再进行导入,所以需要勾选Clean清除本地

2、增量更新

2.1.对应全量更新,增量更新新增的
  <!--  transformer 格式转化:HTMLStripTransformer 索引中忽略HTML标签   --->
  <!--  query:查询数据库表符合记录数据   --->
  <!--  deltaQuery:增量索引查询主键ID    --->    注意这个只能返回ID字段
  <!--  deltaImportQuery:增量索引查询导入数据  --->
  <!--  deletedPkQuery:增量索引删除主键ID查询  ---> 注意这个只能返回ID字段
12345
2.2.dataimporter.properties

这个配置文件很重要,它是用来记录当前时间与上一次修改时间的,通过它能够找出,那些,新添加的,修改的,或删除的记录标识,此条记录是否被删除*的记录

2.3、更新 solr-data-config.xml
<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig> 
    <!--数据源-->
    <dataSource type="JdbcDataSource"
                driver="com.mysql.jdbc.Driver"
                url="jdbc:mysql:///xiang"
                user="root"
                password="root"/>
    <document> 

        <entity name="solrTest" 
        query="SELECT fid,ftime,fcontent,ftitle,flastupdatetime FROM solrTest where flag = '0'"
        deltaImportQuery = "SELECT fid,ftime,fcontent,ftitle,flastupdatetime FROM solrTest where fid = '${dataimporter.delta.fid}'"
        deltaQuery = "SELECT fid FROM solrTest where flastupdatetime > '${dataimporter.last_index_time}' and flag = '0'"
        deletedPkQuery = "SELECT fid FROM solrTest where flag = '1'"
        >
            <!--查询的数据和数据库索引意义对应column 是查询的字段name 是solr索引对应的字段-->
            <field column="fid" name="fid"/>
            <field column="ftitle" name="ftitle"/>
            <field column="fcontent" name="fcontent"/>
            <field column="flastupdatetime" name="flastupdatetime"/>
            <field column="ftime" name="ftime"/>
        </entity>
        
    </document> 
</dataConfig>

要记得在 managed-schema 中添加字段

重启服务器后,在网页端:

在这里插入图片描述

  1. Command 选 delta-Import ,增量更新
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
您可以按照以下步骤配置Solr增量更新: 1. 在Solr的web.xml文件中添加增量更新监听器。在web.xml文件中添加以下代码段: ``` <listener> <listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener</listener-class> </listener> ``` 这将引入增量更新的监听器。 2. 配置solrconfig.xml文件。在solrconfig.xml文件中,您需要配置以下内容: - 设置dataImportHandler请求处理器。确保以下的请求处理器配置在solrconfig.xml的<requestHandler>部分中: ``` <requestHandler name="/dataimport" class="solr.DataImportHandler"> <lst name="defaults"> <str name="config">solr-data-config.xml</str> </lst> </requestHandler> ``` - 设置自动调度器。在solrconfig.xml的<config>部分中添加以下配置: ``` <autoCommit> <maxDocs>10000</maxDocs> <maxTime>15000</maxTime> </autoCommit> <updateHandler class="solr.DirectUpdateHandler2"> <updateLog> <str name="dir">${solr.data.dir:}</str> </updateLog> </updateHandler> <requestDispatcher handleSelect="true" > <requestParsers enableRemoteStreaming="true" multipartUploadLimitInKB="2048000" /> </requestDispatcher> ``` - 配置增量更新定时任务。在solrconfig.xml的<config>部分中添加以下配置: ``` <dataConfig> <dataSource type="JdbcDataSource" driver="your_driver" url="your_jdbc_url" user="your_username" password="your_password" /> <document> <entity name="<your_entity_name>" query="<your_query>" deltaQuery="SELECT id FROM your_table WHERE last_modified > '${dataimporter.last_index_time}'"> <field column="id" name="id" /> <!-- 增加其他字段 --> </entity> </document> </dataConfig> ``` 注意替换上述代码中的占位符,例如your_driver、your_jdbc_url、your_username、your_password、your_entity_name、your_query和your_table,根据您的实际情况配置。 3. 配置managed-schema文件。确保managed-schema文件中包含增量更新需要的字段定义。 4. 下载并安装增量更新的jar包。从https://code.google.com/p/solr-dataimport-scheduler/downloads/list下载apache-solr-dataimportscheduler-1.0-with-source.jar,并将它放置在Tomcat目录的相应位置。 完成上述配置后,您可以启动项目并开始使用Solr增量更新功能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [solr自动增量更新](https://blog.csdn.net/SSHH_ZHU/article/details/103968258)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Solr增量更新全量更新对比](https://blog.csdn.net/qq_42941671/article/details/108324169)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [solr配置增量更新和定时更新数据索引](https://blog.csdn.net/weixin_33433067/article/details/113541424)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值