solr mysql 增量索引_通过配置apache solr的last_index_time实现dataimport导入功能支持增量更新delta-import索引功能...

本文介绍了如何使用Apache Solr的delta-import功能实现与MySQL数据的增量同步,以提高索引更新效率。通过在content表中添加额外字段,并调整dataimport配置,实现了只索引自上次索引时间后更改的数据。
摘要由CSDN通过智能技术生成

一、前言

原来基于apache solr的dataimport功能的full-import实现全部数据重新索引化,每次数据更新之后必须都重新删除掉,再重新全量创建索引出来,这两天由于数据量突发猛涨,发现通过这种方式效率特别低效,不便于数据及时更新后同步增量更新索引,于是这两天考虑实现delta-import的增量更新索引功能。

二、全量导入(旧)

1. mysql-dsmconfig.xml配置如下<?xml  version="1.0" encoding="UTF-8" ?>@b@@b@ @b@    @b@    @b@ @b@        @b@                @b@                @b@         @b@@b@    @b@

2.全量提交命令地址:http://solr.xwood.com:8082/subject/dataimport?command=full-import&commit=true&clean=false&offset=0&length=100000

63624c81b03f55a72b75d869b27b0539.png

三、增量导入(新)

1.在原来content表中增加“LAST_INDEX_TIME”、“IS_DELETE”字段,如下图所示

<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值