solr 的全量更新与增量更新

solr 的增量更新
olr 的全量更新与增量更新)

solr 的全量更新

简介

当我们访问购物网站的时候，我们可以根据我们随意所想的内容输入关键字就可以查询出相关的内容，这是怎么做到呢？答案就是全文检索工具的实现。接下来就有小编来给大家介绍下solr–全文检索服务器的搭建（全量更新）

详细过程

1.1 配置数据库–小编这里用了三张表联查，新学者可用一张表数据代替。



1.2导入依赖
（1）、将solr根目录下dist文件的solr-dataimporthandler-7.7.2.jar和solr-dataimporthandler-extras-7.7.2.jar复制到solr根目录\server\solr-webapp\webapp\WEB-INF\lib下。

（2）、由于需要导入数据库数据，还需要mysql的驱动

包
1.3 配置solr-data-config.xml

1.4 配置managed-schema.xml

1.5 操作结果观察–打开客户端

solr 的增量更新

简介

上面的文章中我们介绍了全量更新solr配置，但是在数据量较大时，频繁的更新索引会消耗系统性能，如果更新频率较低，则会影响短时的数据准确性，所以，更新时间的间隔是个很难界定。增量索引解决了这个问题，我们可以在较短的时间内只更新那些变化的数据，这样就避免了大批量的数据更新，因为数据量小，我们可以设置较短的时间间隔，大幅度的提高了用户体验度。接下来介绍增量索引。

详细配置

1.1 配置数据库
为了便于同全量索引比较，我们使用同一个数据库和数据表。增量索引的关键是找到那些修改的数据，所以需要添加一个标识符，数据类型是时间戳，字段命名为updateTime，即四个字段，id,title,content,updateTime,其中updateTime数据类型为TimeStamp，默认值为CURRENT_TIMESTAMP.结构如下：

solr本身提供了一个last_index_time,这个字段记录了每条记录导入的时间（包括增量和全量导入），我们只需要将updateTime和last_index_time比较即可得到上一次索引更新以后变化的记录。
last_index_time的时间记录在
具体可以根据自己solr的所在的目录下查找。

1.2 配置solr-data-config.xml
全量索引继续保留，所以原来的配置不需要修改，我们只需要添加增量索引的配置。首先，我们在索引中用到了updateTime字段，所以需要添加updateTime字段的索引；其次，增量索引的关键就是找到更新的那些数据，通过上边分析，我们首先需要使用last_index_time字段找到更新的记录代码如下：具体代码如图：

由于，小编的数据库所用的时区，为北京时区，于dataimport.properties中的UTC时区，差了8个小时，所以这里我们可以用mysql的时间函数“DATE_SUB(updateTime,INTERVAL 8 HOUR)” ，减去8个小时，再与dataimport.properties文件中时间对比
data-config.xml中一些属性说明：
transformer 格式转化：HTMLStripTransformer 索引中忽略HTML标签
query:查询数据库表符合记录数据
deltaQuery:增量索引查询主键ID，注意这个只能返回ID字段
deltaImportQuery:增量索引查询导入的数据
deletedPkQuery:增量索引删除主键ID查询，注意这个只能返回ID字段

1.3 配置schema.xml

将我们需要查询出的数据，完成配置即可。

1.4 修改数据库，产生数据源

然后，我们可以中sqlyog修改数据，使updateTime字段产生变化。

1.5 操作结果观察
通过solr Admin客户端更新索引

执行后，我们可以在右侧：

最后感谢大家的观看！