【Solr现网问题】索引文档数量超限

最新推荐文章于 2023-06-25 20:05:35 发布
置顶 最新推荐文章于 2023-06-25 20:05:35 发布
阅读量1.7w 收藏
点赞数
分类专栏： Solr 文章标签： Solr IndexWriter 索引文档超限
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42257250/article/details/88015926
版权
当Solr中的单个shard索引达到约21亿文档限制时，会出现索引超限问题。通过修改Lucene源码，将限制提升至30亿并重新编译，然后在服务器空闲时进行split shard操作。为了避免风险，替换生产环境jar包需谨慎，建议对索引状态进行监控和预警，及时分裂。
摘要由CSDN通过智能技术生成

概念解释

Too many documents具体是指什么？索引数？索引文档数？

异常信息

在splitShard时，报错如下：

Caused by: org.apache.lucene.index.CorruptIndexException: Too many documents: an index cannot exceed 2147483519 but readers have total maxDoc=2147483529 
	at org.apache.lucene.index.BaseCompositeReader.<init>(BaseCompositeReader.java:83)
	at org.apache.lucene.index.DirectoryReader.<init>(DirectoryReader.java:342)
	at org.apache.lucene.index.StandardDirectoryReader.<init>(StandardDirectoryReader.java:45)
	at org.apache.lucene.index.StandardDirectoryReader.open(StandardDirectoryReader.java:120)
	at org.apache.lucene.index.IndexWriter.getReader(IndexWriter.java:460)
	at org.apache.lucene.index.StandardDirectoryReader.doOpenFromWriter(StandardDirectoryReader.java:291)
	at org.apache.lucene.index.StandardDirectoryReader.doOpenIfChanged(StandardDirectoryReader.java:276)
	at org.apache.lucene.inde
最低0.47元/天 解锁文章
小肥马
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticSearch常见问题答疑
lauyiran的博客
01-17 3万+
1.ES不是什么 ES不是可靠的存储系统，不是数据库，它有丢数据的风险。具体请参考ES内部分享中的ES简介这个文档 2.为什么一条数据写入后马上查询查不到？ ES不是实时系统，数据写入成功只是trans log成功（类似于mysql的bin log），写入成功后立刻查询查不到是正常的。因为数据此刻可能还在内存里而不是进入存储引擎里。 同理，删除一条数据后也不是马上消失 写入何时可查询？ES内部有一...
在文档数达到65,536的限制时，Notes的全文索引查找会失败
点点滴滴
02-07 1405
在文档数达到65,536的限制时，Notes的全文索引查找会失败 环境 产品：Lotus Domino平台：无关版本： 6.x
elasticsearch故障：an index cannot exceed 2147483519 but readers have total maxDoc=2147499025
小菜
07-27 1162
版本：elasticsearch5.4.0 故障现象：一个索引的shard 变成unassigned状态，由于这个索引正在做数据初始化，所以没有副本数据 curl -XGET localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason| grep UNASSIGNED 详细原因： curl -XGET localhost:9200/_cluster/allocation/explain?pretty "shard
es sharding 文档数量超过最大限制,写入失败的4种解决方案
最新发布
qq_35640866的博客
06-25 1596
新建一个索引， 然后给旧的索引和新的索引 创建同一个别名， 并且允许写新的索引， 这样程序只需要把旧的索引名字改成新的别名，就可以实现， 查询旧的索引和新的索引， 写只写新的索引。POST /索引名/_forcemerge?再删除过程中，如果删除一年的数据大概1.3亿， 大概删除半个小时以后，后台删除进程会退出，并且无报错，数据无法删除。清理数据以后，merge是异步的，可能删除数据以后，不会立即释放doc 数量。控制每次只删除一天的数据可以删除成功，用的是es6.7版本，估计是数据超过了内存限制。
Elasticsearch6.4专题之杂记:遇到的异常与解决方案
天空之蓝的博客
12-14 2180
这个是我实际项目实践过程中遇到过的问题与解决方案；同样的问题，不同的场景可能解决方案不一样，所以，博友们不要硬套，自己验证过后，适合自己的问题再采用。 1、elasticsearch磁盘满导致read-only,新数据不可入库 执行 curl -XPUT -H "Content-Type: application/json" http://127.0.0.1:9200/_all/_settings...
elasticsearch的服务器响应异常及应对策略
weixin_34341229的博客
12-05 560
详述： 1 _riverStatus Import_fail  问题描述： 发现有个索引的数据同步不完整，在 http://192.168.1.17:9200/_plugin/head/ 在browse - river里看到 _riverStatus Import_fail 查看 elasticsearch 的log发现 有几条数据由于异常造成同步失败，处理好数据好重新建索引数据同步正常。 ...
solr增量导入更新索引包
12-05
- **Update Handler**：Solr提供了多种Update Handler，例如Direct Update Handler和Document Update Handler，它们接收单个文档或者批量文档的更新请求，然后进行相应的索引更新，而无需重新构建整个索引。...
hbase+solr创建二级索引完整操作
09-04
本文档详细介绍了如何利用HBase和Solr创建二级索引的过程。通过整合HBase与Solr的优势，可以构建高性能的数据存储与检索系统。HBase作为分布式列族数据库，能够处理海量数据，并提供快速随机读写能力。而Solr则是一...
Solr 学习笔记（五）-Solr扩展之分布式索引实例
03-19
在本篇Solr学习笔记中，我们将探讨Solr的分布式索引功能，这对于处理大量数据和实现高可用性至关重要。Solr的分布式索引能力允许我们跨越多个节点分布和处理索引过程，从而提高索引速度和查询性能。在实际应用中，这...
solr文档solr文档
11-15
10. **日志分析**：Solr的日志文件可以帮助诊断和解决问题，了解如何阅读和分析这些日志对于排查问题至关重要。 在"Solr注意.txt"文件中，可能会包含一些使用Solr过程中需要注意的事项或最佳实践，例如避免使用不...
Luence建索中的一个异常
香辣虾虾
02-27 523
异常：org.apache.lucene.index.CorruptIndexException: failed to locate current segments_N file at org.apache.lucene.index.IndexFileDeleter.&lt;init&gt;(IndexFileDeleter.java:223) at org.apache.lucene.in...
捷信服务器响应数据异常,elasticsearch的服务器响应异常及应对策略
weixin_39692254的博客
08-02 736
详述：1 _riverStatus Import_fail问题描述： 发现有个索引的数据同步不完整，在http://192.168.1.17:9200/_plugin/head/ 在browse - river里看到_riverStatus Import_fail查看 elasticsearch 的log发现 有几条数据由于异常造成同步失败，处理好数据好重新建索引数据同步正常。2 es_rej...
Solr使用SolrDocumentList获取数据库的数据，常见异常
默默的笔记
01-04 2479
最近初学Solr，使用SolrDocumentList获取数据库的数据，遇到了一下几个常见异常，在这里记录下来，以便日后查找 一、配置文件data-config.xml 这个文件MySql连接的配置，现在放上我此次项目的文件内容 <dataConfig> <!-- 这是mysql的配置，学会jdbc的都应该看得懂 --> <dataSource...
百度AnyQ之七——使用solr的api上传/删除数据
Castlehe的博客
11-18 922
不打算用mysql，所以考虑直接调用接口逐条添加，这样服务器这边压力小一些，不用维护一个数据库，数据库可以在另一个地方维护，然后只给这边添加删除数据就好了。 1. solr本身的接口 1.0 查看solr的API 还是以上传一个faq对为例， {"answer": "带上口罩吧，狗命要紧", "question": "别人都带口罩，我需要带吗？", "id": "101"} (注意：solr的solr_core中的数据id序号是从1开始的，不是从0开始的) 可以打开控制台，查看Console 控制台，可
lucene 索引文件损坏后恢复方法
qq_26798759的博客
09-18 34
solr 6.1 某节点shutdown后服务器关机造成索引文件损坏 服务器报错 Caused by: org.apache.lucene.index.Corru...
【elasticsearch】elasticsearch--6.8.0报错信息如下： checksum failed (hardware problem?)
wyz0516071128的博客
02-22 1777
界面查不到数据，查看es的heath，看到集群的是red的，然后查看red的分片，手动分配是可以分配的，但是不会自动分配，查看日志报错节点的信息如下： Caused by: org.apache.lucene.index.CorruptIndexException: checksum failed (hardware problem?) : expected=2511ad16 actual=b83be2a (resource=BufferedChecksumIndexInput(MMapIndexInpu
php lucene索引,Lucene索引升级
weixin_36295500的博客
03-11 138
由于Lucene文件格式从2到3以及从3到4版本时都发生了重大的改变，造成了高版本无法读取低版本的数据，使用Lucene中的IndexUpgrader方法先将版本从2升到3，然后再从3升级到4。import java.io.File;import java.io.IOException;import java.util.List;import org.apache.lucene.index.Cor...
Solr索引与查询问题排查及性能优化
"Solr教程文档" 本教程主要涵盖了Apache Solr的相关知识，Solr是一个流行的开源全文搜索引擎，常用于企业级搜索解决方案。以下是对Solr关键知识点的详细讲解： 1. **字符编码与乱码问题** 在使用Solr时，确保字符...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值