Solr的增量更新和全量更新对比

已于 2022-06-14 17:16:03 修改
阅读量3.7k 收藏 1
点赞数 1
分类专栏： solr 文章标签： solr 搜索引擎
于 2020-08-31 17:41:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42941671/article/details/108324169
版权

Solr的增量更新和全量更新

solr的简介

solr是一个采用java语言，基于Lucene的全文搜索引擎。

solr的一些原理

solr通过数据库的数据导入到索引库中，并且给数据创建相应的索引，用来提高搜索的速度。而当数据库的数据发生改变我们需要来和数据库的数据进行同步的时候就用到了全量更新和增量更新

先来说一下全量更新

全量更新顾名思义就是全部都更新，当我们的索引库需要更新数据库数据的时候，就把数据全部拿过来进行更新同步。

使用全量更新

(注意这里—你的文件名可能会因为solr版本问题而和我的文件名不一样)
1.配置solrconfig.xml文件
在这里插入图片描述
2.配置solr-data-config.xml文件(数据源配置文件)
在这里插入图片描述
3.配置managed-schema文件
在这里插入图片描述
然后启动项目
在这里插入图片描述

以上就是全量更新

再来说一下增量更新
增量更新简单来说就是，比如数据库的数据发生修改我们就只导入更新修改的数据，比全量更新操作量少

操作步骤也很简单
1.配置solr-data-config.xml文件(数据源配置文件)
在这里插入图片描述
2.重启项目
在这里插入图片描述
在这里我数据库的数据没有改变，所以没有显示更新了几条数据

以上就是增量更新和全量更新

少i年
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Solr 的全量更新与增量更新
weixin_50048212的博客
08-26 1304
Solr 的全量更新与增量更新 1.全量更新 全量，这个很好理解。就是每天定时（避开业务高峰期）或者周期性全量把数据从一个地方拷贝到另外一个地方； 全量的话，可以采用直接全部覆盖（使用“新”数据覆盖“旧”数据）；或者走更新逻辑（覆盖前判断下，如果新旧不一致，就更新）； 这里面有一个隐藏的问题：如果采用异步写，主数据物理删除了，怎么直接通过全量数据同步？这就需要借助一些中间操作日志文件，或者其他手段，把这些“看不到”的数据记录起来。 2.增量更新 增量的基础是全量，就是你要使用某种方式先把全量数据拷贝过来，然
solr全量更新和增量更新，定时增量更新详解
JavadeSon的博客
08-27 3368
这里写自定义目录标题一、全量更新（1）什么是全量更新？（2）全量更新的配置【1】核心目录下创建一个data-config.xml文件：【2】核心的conf文件夹下的solrconfig.xml文件，在第一个requestHandler标签上面添加：【3】核心的conf文件夹下的managed-schema文件，在第一个field标签上面添加：【4】到solr后台管理页面，选择全量更新的选项，点击Execute二、增量更新（1）什么是增量更新？（2）为什么需要增量更新？（3）增量更新的配置【1】首先要弄懂几个
Android更新优化 - 增量更新是如何节省用户时间和流量的
最新发布
跟着哆啦学Android
05-30 963
最后聊一聊更新的具体逻辑。增量更新有固定数量法和固定业务法。你可以规定，相差版本小于等于3个，就采用增量更新，大于3个，直接走全量更新。此为固定数量法。固定业务法则是，版本分为大小版本号的更新，每个大版本必须走全量更新，而大版本中的小版本则采用增量更新。大版本采用强制更新，而小版本则可采用选择更新。每次更新到大版本，可能会再次拉取该版本的最终小版本的补丁文件发起二次更新。
数据抽取：增量与全量的区别
热门推荐
qq_42630887的博客
10-16 3万+
使用场景 当一个数据需要存储多份时，会出现一致性问题，所以就需要进行同步，同步分为两种：增量和全量。 全量 简单来说，就是在一定的周期中，把当前系统在周期时间内所有数据复制到目标表/系统这样的同步方式就叫做—>全量 增量 增量同步的前提是全量，然后再更具规则增量同步； 增量的基础是全量，就是你要使用某种方式先把全量数据拷贝过来，然后再采用增量方式同步更新。 增量的话，就是指抓取某个时刻（更新时间）或者检查点（checkpoint）以后的数据来同步，不是无规律的全量同步。这里引入一个关键性的前提：副本一
solr—全量更新与增量更新
weixin_46884775的博客
09-01 493
全量更新和增量更新区别。 全量更新，就是所有参数都传给后台，全部入库。 增量更新，则是传一部分参数，然后更新传递的参数。 以上两点是通过sql语句区分的， 而传null和空串，对于后台来说是不同的。 增量更新、后台一般要！=null才入库。 在增量更新的情况下。 前端更新数据，如果某个参数的值没有改变，可以传之前的参数，或者不传该参数，或者传null。 但是不能传空串。 传空串会改变数据库里的值。 而据后台说。 oracle 数据库里，空串和null是一样的，即空串入库，库里变成了null。 1
solr全量更新和增量更新的理解
Systemoutprintl的博客
08-31 1409
1、全量更新 我们在solr页面将数据库中的数据全部导入到solr中的方式就叫做solr的全量更新 full-import:英文意思为全量更新，此选项的作用即使将数据库中的数据全部导入到solr中，当我们现在的数据量较小时，solr的全量更新是很快的，可是如果我们在大数据量的情况下，还需要进行全量更新是不是会使得工作量变得十分的大呢？ 2、增量更新 配置 在全量更新的配置基础上需要增加配置字段解释： 1<!-- transformer 格式转化：HTMLStripTransformer 索引
apache hive增量和全量的理解
weixin_44798823的博客
06-11 5822
一，全量和增量 我们写数据，会不会就需要保存数据呢？为了保证一份数据丢失不会影响到，就需要备份多份，备份时就需要同步，同步就分为全量和增量。 二，全量和增量的区别 1，全量 全量是每天定时（避开业务高峰期）或者周期性全量吧数据从一个地方拷贝到另一个地方；全量的话可以采用直接全部覆盖（使用“新”数据覆盖“旧”数据）或者走更新逻辑（覆盖前判断下，如果新旧不一致就更新）。 2，增量 增量的基础是全量，就是用某种方式先将全量数据拷贝过来，然后采用增量方式同步更新，增量是指抓取某个时刻（更新时间）或者检查点（chec
Android中的全量更新、增量更新以及热更新
qq_36828822的博客
03-30 4381
在客户端开发过程中，我们可能会遇到这样一种需求：点击某个按钮弹出一个弹窗，提示我们可以更新到apk的某个版本，或者我们可以通过服务端接口进行强制更新。在这种需求中，我们是不需要通过应用商店来更新我们的apk的，而是直接在apk内部进行版本更新。这次我们就来看看实现这种应用内更新的几种方式。当然，这种玩法只能在国内玩，海外的话会被Googleplay据审的。如果是海外的应用要更新apk，只能在GooglePlay上上传新版本的包。
Solr连接MySQL数据库实现 全量更新、增量更新、定时增量更新
dongyan3595的博客
05-05 2406
Solr的增量更新与定时增量更新
4. 同步方式(增量和全量)
weixin_48370579的博客
08-07 5269
4. 同步方式(增量和全量) 4.1 数据同步一般分为两种方式：全量和增量。 全量 全量，这个很好理解。就是每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方； 全量的话，可以采用直接全部覆盖(使用“新”数据覆盖“旧”数据)；或者走更新逻辑(覆盖前判断下，如果新旧不一致，就更新)； 这里面有一个隐藏的问题：如果采用异步写，主数据物理删除了，怎么直接通过全量数据同步？这...
全量更新还是增量更新_习惯累积沉淀_新浪博客
wangduqiang747的博客
01-26 2205
讨论这个问题之前先说先程序是什么样的. 这个程序很多单位用, 大体上的流程是差不多的. 但也有不同之处,所有很多操作是限制是哪个单位的. 之前一直是增量更新, 现在我越来越觉得增量更新就是很偷懒很只考虑现在干活轻松不管以后维护.增量更新也有好处就是简单快. 但至少隔一段时间就有个里程碑的全量的包. 不然做出个历史版本是件很头疼的事. 就更开发一样.开发前之前先全部更新完. 这是个好...
数仓知识07：数据增量更新的几种方式
维克先生的博客
05-01 9160
1、增量更新的几种方式 增量更新的本质，其实是获取源表中数据变化的情况（增、删、改），然后将源表中发生的变化同步至目标表中。 不同的方式，获取源表中数据变化的情况不一样，受技术的限制、表结构的限制，某些方式可能无法获取到完整的数据变化情况，因此只能适用于特定的场景。 方式 简述 适用场景 详述 优点 缺点 时间戳增量1 记录每次读数完成时的最大时间戳，后续读数时只获取源头表中新增的数据，将其增量写入到目标表。 源表只增不删不改
“全量增量” 与 “增量同步” 一文了解清楚【建议收藏】
小魏快起床的博客
03-22 2723
全量增量指的是在数据同步的过程中，将所有数据都进行同步，并不考虑是否已经存在相同的数据。例如，在将一个数据库的数据同步到另一个数据库时，如果使用全量增量同步，那么每一次同步都会将所有数据进行同步，包括已经存在的数据。增量同步则是指在数据同步的过程中，只将增量数据进行同步，即只同步新增或修改的数据。例如，在将一个数据库的数据同步到另一个数据库时，如果使用增量同步，那么只有新增或修改的数据才会进行同步，已经存在的数据则不会再次同步。
数据同步策略（全量、增量、新增及变化、特殊同步策略）
m0_51697147的博客
05-30 408
（MySQL中的业务数据通过sqoop同步到HDFS上，HDFS再同步到ODS层。） ...
Oracle ~ merge into 函数 (增量更新、全量更新)
cai_and_luo的博客
12-04 1300
Oracle merge into 函数 增量更新、全量更新 1、数据导入功能，存在全量更新/增量更新的问题，简单记录使用 oracel 的 merge into 函数。 2、全量更新（覆盖模式）：数据库存在该条数据时，做更新操作。不存在时，做新增操作 3、增量更新（跳过模式）：数据库存在该条数据时，不做任何操作，不存在时，做新增操作。 4、merge into 对千万级以上的数据更新，速度比较慢。 merge into 使用 merge into [target-table] A using [
hive 两张表全量数据对比
dataastron的博客
05-09 1万+
hive 两张表全量数据对比select * from ( select max(source) source,c1,c2 ,c3,count(*) from ( select 1 source, a.* from dev.astron_wangluochayi_1 a union all
solr的全量更新与增量更新分析
xiaoxinshijie的博客
09-01 253
大家好，我是猿猴小冷，今天给大家分享solr的全量更新与增量更新 文章目录前言一、solr的全量更新1. 核心实例目录下的conf 目录下的 solrconfig.xml，新增如下配置2. 在核心实例目录的conf 目录下的data-config.xml 文件,新增如下配置（连接数据库的数据源及查询语句）3. 修改核心实例目录的conf 目录下 managed-schema.xml 的文件，新增需要索引的列4. 进入solr 的后台管理,进行全量更新（启动solr，访问 http://localhost:
Solr 全量更新和增量更新 配置方式
qq_30294911的博客
02-07 964
deltaImportQuery 指定的sql要求我们将满足PK的数据进行填充，需要配置在FieId中出现的属性，其作用和query类似，只不过该作用是将前面两个deltaQuery、deletedPkQuery过滤后进行了一次封装，以更新部分需更新的记录所对应的Solr的数据库索引。基于项目的特殊性，本项目将所有的文本类型记录的表全部读取进入Solr进行管理，但因文本记录的表比较多和复杂，导致了后面在使用solr自带功能增量更新时出现了问题。该配置在使用全量更新full-import显得尤为的突出；
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值