Solr AutoSoftCommit

最新推荐文章于 2021-12-02 18:57:48 发布
最新推荐文章于 2021-12-02 18:57:48 发布
阅读量2.9k 收藏 1
点赞数
分类专栏： solr 文章标签： solr softcommit autosoftcommit NRT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/patrickyoung6625/article/details/14131821
版权

什么是SoftCommit?

请戳Solr Guide：Near Real Time Searching(NRT) https://cwiki.apache.org/confluence/display/solr/Near+Real+Time+Searching 。

里面讲了AutoCommit和AutoSoftCommit如何进行配置。配置建议：A common configuration is to do a hard autocommit every 1-10 minutes and a autosoftcommit every second. 


SoftCommit Tips：

1.Solr的softCommit是Write-ahead Logging的，所以不必担心softCommit的数据会丢失。Log数据就在$solrHome/collection/data/tlog/下。

2.solr关闭时会进行一次hard commit，所以不必担心关闭（或Kill process）时softCommit数据会丢失。当然kill -9除外~

3.测试发现autoSoftCommit的maxDocs配置是针对每个独立Core的。



当前solr版本：solr4.4

flysharkym
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Solr全攻略
02-24
官网：Solr是基于ApacheLucene:trade_mark:构建的流行，快速，开源的企业搜索平台。Solr是一个JavaWeb应用，可以运行在任何主流JavaServlet引擎中。下面来看一个Solr服务器的主要软件构成：Solr基于已有的XML、JSON...
Solr简单配置
01-09
Solr简单配置 概念：solr 是基于 Lucene 的 java 的搜索服务器，运行在tomcat 中。 特点： 高级的全文搜索 目录结构： bin：运行脚本 dist-solr.war：丢给 tomcat，就可以直接运行。 solr环境配置： 新建solr文件夹...
solr之commit和softcommit
aiyueqingfeng的专栏
07-01 6484
在solrconfig.xml里有两个配置项，autoCommit和autoSoftCommit，他们是干什么的呢？他们是solr提交文档的两种方式。1. commit一般提交又或者叫硬提交(hard commit), 使用这种提交会把文档立即持久化到磁盘，并可以让你能立马查询到它，因为它会开启一个新的searcher,但是它缺点很明显，就是很耗性能，并会阻塞到提交任务完成，使用它是非常昂贵的操作。
solr autoCommit 服务端自动提交配置
灰色轨迹
04-21 509
 在很多情况下，我们并不想自己主动触发COMMIT相应的XML给SOLR，这样带来很多的不便（例如频繁commit，会带来性能上较大的消耗），恰好，SOLR通过配置文件可以自行在满足指定的条件下自动的COMMIT索引，同时，让前端检索实例可以检索到最新生成的数据，而不需要人为干预。       方法很简单：找到solrConfig.xml文件 <requestHandler name...
solr的软提交(softcommit)与硬提交(commit)的区别[看完这篇就懂了]
寒夜二十五
09-12 1368
(一)数据在存入solr时,会有几种提交方式,这里主要记录下硬提交与软提交这两种方式: 硬提交(commit): 这种提交会把文档立即持久化到磁盘，并可以让你能立马查询到它，因为它会开启一个新的searcher,但是它缺点很明显，就是很耗性能，并会阻塞到提交任务完成.简单的理解就是它是把数据一条一条的插入solr中,效率较慢,耗费资源较多. 软提交(softcommit): 这种提交不会立...
solr事务提交
小野爸爸的博客
03-12 1101
solr的使用过程中，大部分是query操作，很少用到事务，只知道在新增和删除时使用commit。 其中solr的commit又分为三种： 手动调用提交 自动提交 延时提交 其中每次手动操作完成之后调用commit的效率最低，但是无所谓，毕竟增删操作都是少数。 本文只研究手动调用提交 通过测试，solrClient的commit()方法可以协助我们来完成事务。 1、新增数据...
solr commit
chizan4745的博客
02-03 183
背景 现有开源搜索引擎主要有es和solr；es更适合近实时查询，在批量文档更新插入时的查询效率依然很高； solr在这方面要逊色一些，但是查询的稳定性更好，适合作为企业级搜索框架来使用。 关于solr在4 版本之后增加了，软提交，加快了index速度。 在solr 提交文档常用的主要...
solr_solr_
10-02
Solr，全称为Apache Solr，是一款开源的企业级搜索平台，由Apache软件基金会维护。它基于Java，并且是Lucene库的一个高级搜索应用。Solr主要用于处理和索引大量文本数据，提供高效的全文检索、拼写检查、命中高亮、...
solr7.2.1 ik
05-21
在本压缩包"solr7.2.1 ik"中，重点是针对Solr 7.2.1版本集成了IK（Intelligent Keyword）分词器，这是一款广泛应用于中文分词的工具，尤其适用于Solr和Elasticsearch的全文检索场景。 IK分词器是由开源社区维护的一...
Solr基础知识
01-27
本文来自于简书，本文是一篇基础文章，详细介绍了Solr是什么，及涉及到的层面。 简单来说Solr是基于Lucene的高性能的，开源的Java企业搜索服务器。Solr可以看作一个Web app，运行在tomcat或Jetty这类HTTP服务器上， ...
solr 的commit, soft commit等
Oliverkehl的专栏
07-01 3894
背景最近又被soft commit 和 hard commit搞得有点迷糊，其实都怪自己没有早点看源代码。问题出自这段代码，这也是我一开始接触solr时，查到的代码sample(事实证明问题都出在这里，引以为戒，有问题真的不要不求甚解)if (rs.next()){ while (true) { NiuniuSolrInputDocument doc = new Niuniu
solr 自动提交autocommit(原创)
dengsilinming的专栏
07-27 242
想让solr自动提交只需要修改solrconfig.xml文件的一些配置就能做到,方法很简单: 打开solrconfig.xml,增加以下配置(solrconfig.xml中以下配置已经被注释掉): <updateHandler class="solr.DirectUpdateHandler2"> <autoCommit> <max...
生产环境SolrCloud内存调优
fanzhiyi521的博客
02-03 1543
生产环境Solr内存调优 生产的Solr内存调优(第1部分)： 正确配置Apache Solr内存对于生产系统的稳定性和性能至关重要。很难在相互竞争的目标之间找到合适的平衡。还有许多因素，或明或暗，都需要考虑。本博客将讨论内存调优中的一些常见任务，并指导您完成整个过程，以帮助您理解如何为生产系统配置Solr内存。 为简单起见，本博客适用于运行在HDFS之上的Cloudera CDH5.11中的Solr。平台是Oracle JDK 8和64位Linux。这个博客分为两部分。 常见任务在内存中调优 在深入研究细
solr的相关操作(addDocument,flush,commit,rollback,optimize,close)解析
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
06-26 7702
在solr中通常包含以下一些操作，包括显式的和隐式的操作 1、addDocument，对文档进行分析，分词处理，创建索引段segment，每当flush缓冲区中增加的文档，索引文件都会新建一个段segment。 2、commit，除了向Directory对象提交索引变化，搜索器query的重新建立 commit提交后，索引flush到硬盘上，并触发listener,创造新的insexSear
三、Solr管理控制台（二）
zkq5168的专栏
09-13 1195
索引库相关操作 Overview 索引库的总览，显示集合的信息和分片信息 Analysis 分析器：这个功能可以用来调试字段的分词效果 左边部分是针对索引解析器的处理过程，右边部分是针对查询解析器的处理过程，我们来做一下测试，选择底部的字段或者字段类型，这里我们选择content字段，输入“I love you”，然后点击Analyse Values按钮，让我们来看一下索引解析器和查询解析器的处理结果 从图中可以看出，左侧索引使用到的解析器如下： ST解析器（StandardTokenizer）-
solr索引提交方式
aaaaaaaaaa1231的专栏
11-27 1427
摘要： Solr的近实时搜索NRT(Near Real Time Searching)意味着文档可以在索引以后马上可以被查询到。Solr不会因为本次提交而阻塞更新操作，不会等待后台合并操作(merge)的完成而是直接检索索引并返回数据。参见原文 利用NRT，就可以设置soft commit，因为标准的commit操作代价高昂，soft commit可以做到近乎实时的查询效果而不丢失数据。
solr 近实时搜索
随-记的专栏
04-22 7216
摘要： Solr的近实时搜索NRT（Near Real Time Searching）意味着文档可以在索引以后马上可以被查询到。Solr不会因为这次提交而阻塞更新操作，不会等待后台合并的完成而直接检索索引并返回数据。参见原文 利用NRT，就可以设置soft commit，因为标准的commit操作代价高昂，soft commit可以做到近乎实时的查询效果而不丢失数据。 Commits 与 Opt
solr 笔记整理
编码爱好者
12-02 184
写在前面 solr版本 7.5.0 下载地址：http://archive.apache.org/dist/lucene/solr/7.5.0/ zk版本：3.4.14 下载地址:https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/ cloud 模式如何使用 配置zk环境 修改bin/solr.in.sh 脚本，解开 ZK_HOST 相关选项，填写zk地址，用逗号分隔，例如 :ZK_HOST="docker-zookeeper-3.4.14-
Solr的软提交与硬提交
FullStackDeveloper0的博客
01-22 578
Solr的软提交与硬提交 硬提交是关于持久化的，软提交是关于可见性的。硬提交和软提交是相关的概念，但是它们的目的是不一样的。这句话隐含了很多细节，我们将就其中一些进行阐明。首先是几个定义： Transaction Log（Tlog） 记录了原始文档，用于索引恢复功能。在 SolrCloud 中，每个节点都有自己的 tlog。在更新的时候，整个文档会写入 tlog 中。Tlog 是保证一致性...
Solr调研总结
02-24
Solr调研总结 本文总结了Solr的功能使用及相关注意事项。其中包括环境搭建及调试、两个核心配置文件介绍、维护索引、查询索引以及在查询中可应用的高亮显示、拼写检查、搜索建议、分组统计和拼音检索等功能的使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值