Solr学习（五）DIH增量、定时导入并检索数据

最新推荐文章于 2023-08-23 17:03:25 发布

小弟季义钦

最新推荐文章于 2023-08-23 17:03:25 发布

阅读量4.8k

点赞数

分类专栏：分布式检索/Solr

本文链接：https://blog.csdn.net/jiyiqinlovexx/article/details/24913853

版权

本文介绍了如何在Solr中实现DIH增量导入MySQL数据，详细讲解了数据库表的更改、data-config.xml配置以及如何通过delta-import命令进行增量导入。此外，还阐述了如何设置定时任务来自动执行增量导入，包括添加apache-solr-dataimportscheduler-1.0.jar到Tomcat库，修改web.xml文件，并配置dataimport.properties。

摘要由CSDN通过智能技术生成

注意：整个Solr学习系列使用的都是Solr4.5.1，更高版本应该也适用，耕地版本不知道。转载请注明出处：jiq·钦's technical blog

（一）引言：

前面我的文章 DIH全量导入中已经学会了如何全量导入Oralce和MySQL的数据，大家都知道全量导入在数据量大的时候代价非常大，一般来说都会适用增量的方式来导入数据，下面介绍如何增量导入MYSQL数据库中的数据，以及如何设置定时来做。

下面介绍的所有操作都是基于前面已经完成的全量导入的基础上来做的。

（一）DIH增量从MYSQL数据库导入数据：

1、数据库表的更改：

前面已经创建好了一个UserInfo的表，这里为了能够进行增量导入，需要新增一个字段，类型为TIMESTAMP，默认值为CURRENT_TIMESTAMP。

有了这样一个字段，Solr才能判断增量导入的时候，哪些数据是新的。

因为Solr本身有一个默认值last_index_time，记录最后一次做full import或者是delta import(增量导入）的时间，这个值存储在文件conf目录的dataimport.properties文件中。

2、data-config.xml中必要属性的设置：

       <!--  transformer 格式转化：HTMLStripTransformer 索引中忽略HTML标签   ---> 
       <!--  query:查询数据库表符合记录数据   ---> 
       <!--  deltaQuery:增量索引查询主键ID    --->    注意这个只能返回ID字段 
       <!--  deltaImportQuery:增量索引查询导入的数据  ---> 
       <!--  deletedPkQuery:增量索引删除主键ID查询  ---> 注意这个只能返回ID字段