solr replacenode命令

最新推荐文章于 2021-02-16 14:31:09 发布
最新推荐文章于 2021-02-16 14:31:09 发布
阅读量397 收藏
点赞数
分类专栏： solr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lxx1991523/article/details/106669032
版权
在Solr 6.2.0中使用replacenode命令迁移实例时，遇到线程池满和超时问题。当源实例core数量超过10时，删除源实例core阶段会出现线程池满错误。通过调整socket超时时间和增大线程池大小解决了部分问题。然而，在核心数达到2000+时，仍出现`java.lang.OutOfMemoryError: unable to create new native thread`和删除操作失败的情况。经过排查，发现是客户端构建SolrCloudClient时未指定socket超时导致的，通过设置合理的超时时间解决了Read timed out错误。然而，删除操作的并发执行导致源节点HTTP连接池满，仍有优化空间。
摘要由CSDN通过智能技术生成

solr 6.2.0使用replacenode命令来迁移实例，replacenode命令的流程

 /admin/collections?action=REPLACENODE&source=xxx&&target=yyy

1.在yyy实例上创建xxx上存在的core

2.将数据迁移到yyy上的新core

3.删除xxx上的core

 

遇到的问题：

如果xxx实例上的core数量多于10，那么在第3阶段删除源实例上的core时，大概率会触发线程池满的错误：

Task org.apache.solr.common.util.ExecutorUtil$MDCAwareThreadPoolExecutor$$Lambda$11/1711392234@354e1668 rejected from org.apache.solr.common.util.ExecutorUtil$MDCAwareThreadPoolExecutor@43a30e4b[Running, pool size = 10, active threads = 10, queued tasks = 0, completed tasks = 0]</str>

经过多次测试，迁移实例的阶段是OK的，错误出现在delete replica时：

2020-06-10 18:46:43,221 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Create and syny new replica on target node successfully | org.apache.solr.cloud.ReplaceNodeCmd.call(ReplaceNodeCmd.java:155)
2020-06-10 18:46:43,221 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Deleting replica for collection=Collection_19 shard=shard4 on node=8.5.238.9:21104_solr | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:65)
2020-06-10 18:46:43,222 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Deleting replica for collection=Collection_19 shard=shard6 on node=8.5.238.9:21104_solr | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:65)
2020-06-10 18:46:43,222 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Deleting replica for collection=Collection_18 shard=shard5 on node=8.5.238.9:21104_solr | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:65)
2020-06-10 18:46:43,223 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Deleting replica for collection=Collection_18 shard=shard8 on node=8.5.238.9:21104_solr | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:65)
2020-06-10 18:46:43,223 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Deleting replica for collection=Collection_13 shard=shard1 on node=8.5.238.9:21104_solr | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:65)
2020-06-10 18:46:43,226 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Deleting replica for collection=Collection_13 shard=shard10 on node=8.5.238.9:21104_solr | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:65)
2020-06-10 18:46:43,229 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Deleting replica for collection=Collection_12 shard=shard3 on node=8.5.238.9:21104_solr | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:65)
2020-06-10 18:46:43,230 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Deleting replica for collection=Collection_12 shard=shard8 on node=8.5.238.9:21104_solr | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:65)
2020-06-10 18:46:43,231 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Deleting replica for collection=Collection_11 shard=shard2 on node=8.5.238.9:21104_solr | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:65)
2020-06-10 18:46:43,231 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Deleting replica for collection=Collection_11 shard=shard8 on node=8.5.238.9:21104_solr | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:65)
2020-06-10 18:46:43,232 | INFO  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Deleting replica for collection=Collection_10 shard=shard3 on node=8.5.238.9:21104_solr | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:65)
2020-06-10 18:46:43,233 | WARN  | OverseerThreadFactory-7-thread-5-processing-n:8.5.244.8:21104_solr | Error deleting  | org.apache.solr.cloud.DeleteNodeCmd.cleanupReplicas(DeleteNodeCmd.java:81)
java.util.concurrent.RejectedExecutionException: Task org.apache.solr.common.util.ExecutorUtil$MDCAwareThreadPoolExecutor$$Lambda$11/49000282@7f409b58 rejected from org.apache.solr.common.util.ExecutorUtil$MDCAwareThreadPoolExecutor@3ac36edc[Running, pool size = 10, active threads = 10, queued tasks = 0, completed tasks = 70]
        at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2063)
        at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:830)
        at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecuto
最低0.47元/天 解锁文章
「已注销」
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
solr_solr_
10-02
Solr，全称为Apache Solr，是一款开源的企业级搜索平台，由Apache软件基金会维护。它基于Java，并且是Lucene库的一个高级搜索应用。Solr主要用于处理和索引大量文本数据，提供高效的全文检索、拼写检查、命中高亮、...
解决 rejected from java.util.concurrent.ThreadPoolExecutor@7342dc
u012221197的博客
07-08 4231
解决方法：ThreadPoolExecutor executor = new ThreadPoolExecutor(10, 50, 30*1000,TimeUnit.MILLISECONDS, new LinkedBlockingDeque(1000));使用java.util.concurrent.ThreadPoolExecutor.execute(Runnable command)方法提交任务时，当线程池中正在使用的线程数达到了设置的最大的值（50），而且队列已（1000），就会报...
solr配置索引库启动tomcat报错记录及解决
Seven71111的博客
04-21 1764
[root@localhost logs]# cd /usr/local/solr/tomcat8-solr/logs [root@localhost logs]# tail -f catalina.out 报错详情： 22:55:24.020 [coreContainerWorkExecutor-2-thread-1] ERROR org.apache.solr.core.Cor...
replaceNode 在文档树中替换对象
superes的博客简介
01-10 3133
语法：oElement = object . replaceNode ( oNewNode ) 参数： oNewNode :　 必选项。 对象(Element)。用于替换 object 的对象。
replaceNode
03-06 694
Insert title here a1 a2 a3 b1b11 b2 b3 /* document.getElementById("a1").onclick=function(){ var a1=document.getElementById("a1"); var b1=document.getElementById("b1");
solr常见问题整理
热门推荐
疯狂的葡萄
06-19 1万+
本文是我在开发过程中遇到的一些问题的整理，有些摘自网上别人的方法。 1. org.apache.solr.client.solrj.SolrServerException: Timeout occured while waiting response from server at: http://localhost/solr请求超时     解决方法：设置setConnectionTime
solr笔记solr笔记
03-23
Solr笔记 Solr 是 Apache 下的一个项目，是使用 Java 开发的，全文搜索服务器。Solr 是基于 Lucene 的，它可以独立运行，独立对外提供搜索和索引服务。Solr 提供了一个灵活的全文搜索解决方案，可以满足各种搜索...
Solr简单配置
01-09
`bin`目录包含了用于运行Solr的各种脚本，例如启动和停止Solr的命令。`dist`目录下的`solr.war`文件是Solr的核心应用，可以部署在任何支持Servlet容器（如Tomcat）上运行。一旦部署，用户可以通过浏览器访问`...
solr服务器_solr_
10-02
Solr服务器是Apache Lucene项目的一个子项目，是一款开源的企业级搜索平台，专门用于处理大量文本数据的全文检索、搜索和分析。它基于Java开发，能够处理多种数据源，包括XML、JSON、CSV等，提供了高效、可扩展的...
java常见异常及解决_Java常见异常及解决方法
weixin_29796905的博客
02-16 871
Java常见异常及解决方法专题文章列表maven 工程pom.xml文件错误，提示错误如下Plugin org.apache.maven.plugins:maven-compiler-plugin:2.3.2 or one of its dependencies could not be resolvedjava.net.SocketException: No buffer space avail...
只有 IE 的 HTMLDOMNode 有 replaceNode 与 swapNode 方法
Hello World!
04-04 2214
转自：http://www.w3help.org/zh-cn/causes/BT9032 标准参考 无。 问题描述 只有 IE 的 HTMLDOMNode 有 replaceNode 与 swapNode 方法，其他浏览器则不支持。 造成的影响 该问题将造成某些使用本特性设计的功能在非 IE 浏览器中不能实现。 受影响的浏览器 IE6
solr（十）:CDH集群配置solr cloud
小蚯蚓的博客
05-11 2275
一、目的 CDH集群配置solr和单机虚拟配置solr还是非常不同的，烦人的目录是很令人头疼。在创建集群实例过程中碰了很多坑，好不容易搭建好，在此记录一下，以防下次采坑。 二、环境 1.CDH5.15.2 三、配置步骤 1.生成collection实例配置文件： 指定配置文件临时目录 solrctl instancedir --generate /opt/tmp 2.上传文件到 ...
配置solr过程中遇到的问题及解决方案
tomcat_zhu的博客
01-09 7149
1.由于缺少solr源文件报错 2018/1/9 上午10:56:59 WARN SolrResourceLoader Can't find (or read) directory to add to classloader: ../../../contrib/extraction/lib (resolved as: /usr/local/solrhom
【059】solr6.3与MySQL结合使用的简明教程（三）——SolrException: undefined field text错误如何解决
zhangchao19890805的专栏
01-18 3613
SolrException: undefined field text错误如何解决?使用前面教程的例子，虽然solr6.3的服务器可以正常启动，但是你在管理员图形界面上点击Logging，会看到如下的错误：点开错误后会看到如下的详细信息：org.apache.solr.common.SolrException: undefined field text at org.apache.solr.
淘淘商城第60讲——搭建Solr集群时，报错：org.apache.solr.common.SolrException: No coreNodeName for CoreDescriptor ···
李阿昀的博客
10-27 623
问题描述 在上一讲搭建Solr集群的过程中，启动每一个Tomcat服务器实例之后，我使用tail -f /usr/local/solr-cloud/tomcat01/logs/catalina.out命令来查看了一下第一个Tomcat服务器的启动日志，发现报了一个如下图所示的异常。 不仅第一个Tomcat服务器的启动日志会显示如上异常，而且其他的Tomcat服务器启动时都会报这个异常。 我TM瞬间裂开了，老子辛辛苦苦半天来搭建Solr集群，结果你TM就给我这个，艹！而且我在网上也没找到和我报相同异常的人，
solrCloud批量保存索引报错（连接超时：Timeout ）
成龙的博客
10-26 2448
最近把单机版solr改成了solrcloud，原本单机版的solr查询代码执行批量保存失败了一部分 原本的单机solr代码如下： // 添加对象 try { **client.addBeans(“zgcbCollection”, list);** } catch (SolrServerException e) { logger.error("SolrSaveClient s...
深入理解Solr搜索引擎
"Solr in Action.pdf" 这本《Solr in Action》是关于Apache Solr的详细指南，它是一款强大的开源全文搜索引擎服务器，被广泛应用于各种行业和领域。该书分为三个部分，全面覆盖了Solr的核心功能和高级技术。 第一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值