solr4.7分片shard对应的range值变为null异常问题处理(bug)

最新推荐文章于 2020-02-22 23:52:59 发布
最新推荐文章于 2020-02-22 23:52:59 发布
阅读量2.4k 收藏
点赞数 1
分类专栏： 技术学习笔记 搜索引擎 solr 文章标签： solr shard range hash 分片
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duck_genuine/article/details/52984082
版权

solr分片shard对应的range值变为null异常问题处理


转贴请声明原文： http://blog.csdn.net/duck_genuine/article/details/52984082

选 用的solr是solr4.7版本！

solr分片突然发现多个collections上某些shard对应的range值变为null,而且还多一个parent:null

由于solr文档的分发到不同shard是通过主键hash后，分到不同的范围值取对应的shard，所以上面这个问题会

导致索引不了，且搜索到某个分片取对应文档也有问题，最关键在solrcloud图上并没有显示有任务的异常问题，只有在logging上不断抛出下面的异常！



org.apache.solr.common.SolrException: No active slice servicing hash code b8951b39 in DocCollection(audio_tags)={
  "shards":{
    "shard2":{
      "range":"0-7fffffff",
      "state":"active",
      "replicas":{
        "core_node4":{
          "state":"active",
          "base_url":"http://192.168.1.14:11111/solr",
          "core":"audio_tags_shard2_replica2",
          "node_name":"192.168.1.14:11111_solr"},
        "core_node5":{
          "state":"active",
          "base_url":"http://192.168.1.13:11112/solr",
          "core":"audio_tags_shard2_replica1",
          "node_name":"192.168.1.13:11112_solr",
          "leader":"true"}}},
    "shard1":{
      "range":null,
      "state":"active",
      "parent":null,
      "replicas":{
        "core_node6":{
          "state":"active",
          "base_url":"http://192.168.1.11:11111/solr",
          "core":"audio_tags_shard1_replica4",
          "node_name":"192.168.1.11:11111_solr",
          "leader":"true"},
        "core_node7":{
          "state":"active",
          "base_url":"http://192.168.1.3:11111/solr",
          "core":"audio_tags_shard1_replica4",
          "node_name":"192.168.1.3:11111_solr"}}}},
  "maxShardsPerNode":"1",
  "router":{"name":"compositeId"},
  "replicationFactor":"3"}
	at org.apache.solr.common.cloud.HashBasedRouter.hashToSlice(HashBasedRouter.java:60)
	at org.apache.solr.common.cloud.HashBasedRouter.getTargetSlice(HashBasedRouter.java:34)
	at org.apache.solr.update.processor.DistributedUpdateProcessor.setupRequest(DistributedUpdateProcessor.java:218)
	at org.apache.solr.update.processor.DistributedUpdateProcessor.processAdd(DistributedUpdateProcessor.java:550)
	at org.apache.solr.update.processor.LogUpdateProcessor.processAdd(LogUpdateProcessorFactory.java:100)
	at org.apache.solr.handler.loader.JavabinLoader$1.update(JavabinLoader.java:96)
	at org.apache.solr.client.solrj.request.JavaBinUpdateRequestCodec$1.readOuterMostDocIterator(JavaBinUpdateRequestCodec.java:166)
	at org.apache.solr.client.solrj.request.JavaBinUpdateRequestCodec$1.readIterator(JavaBinUpdateRequestCodec.java:136)
	at org.apache.solr.common.util.JavaBinCodec.readVal(JavaBinCodec.java:225)
	at org.apache.solr.client.solrj.request.JavaBinUpdateRequestCodec$1.readNamedList(JavaBinUpdateRequestCodec.java:121)
	at org.apache.solr.common.util.JavaBinCodec.readVal(JavaBinCodec.java:190)
	at org.apache.solr.common.util.JavaBinCodec.unmarshal(JavaBinCodec.java:116)
	at org.apache.solr.client.solrj.request.JavaBinUpdateRequestCodec.unmarshal(JavaBinUpdateRequestCodec.java:173)
	at org.apache.solr.handler.loader.JavabinLoader.parseAndLoadDocs(JavabinLoader.java:106)
	at org.apache.solr.handler.loader.JavabinLoader.load(JavabinLoader.java:58)
	at org.apache.solr.handler.UpdateRequestHandler$1.load(UpdateRequestHandler.java:92)
	at org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody(ContentStreamHandlerBase.java:74)
	at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:135)
	at org.apache.solr.core.SolrCore.execute(SolrCore.java:1916)
	at org.apache.solr.servlet.SolrDispatchFilter.execute(SolrDispatchFilter.java:768)
	at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:415)
	at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:205)
	at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1419)
	at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:455)
	at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:137)
	at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:557)
	at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:231)
	at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1075)
	at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:384)
	at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:193)
	at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1009)
	at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:135)
	at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:255)
	at org.eclipse.jetty.server.handler.HandlerCollection.handle(HandlerCollection.java:154)
	at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
	at org.eclipse.jetty.server.Server.handle(Server.java:368)
	at org.eclipse.jetty.server.AbstractHttpConnection.handleRequest(AbstractHttpConnection.java:489)
	at org.eclipse.jetty.server.BlockingHttpConnection.handleRequest(BlockingHttpConnection.java:53)
	at org.eclipse.jetty.server.AbstractHttpConnection.content(AbstractHttpConnection.java:953)
	at org.eclipse.jetty.server.AbstractHttpConnection$RequestHandler.content(AbstractHttpConnection.java:1014)
	at org.eclipse.jetty.http.HttpParser.parseNext(HttpParser.java:861)
	at org.eclipse.jetty.http.HttpParser.parseAvailable(HttpParser.java:235)
	at org.eclipse.jetty.server.BlockingHttpConnection.handle(BlockingHttpConnection.java:72)
	at org.eclipse.jetty.server.bio.SocketConnector$ConnectorEndPoint.run(SocketConnector.java:264)
	at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608)
	at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:543)
	at java.lang.Thread.run(Thread.java:745)


这应该是个bug,不过要重现应该不容易，所以只能找解决方案。马上想到的是修改 /clusterstate.json

为了安全起见，不直接去zk上修改该结点内容。而是写了个小程序去修改


import java.util.Collections;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.solr.client.solrj.impl.CloudSolrServer;
import org.apache.solr.common.cloud.ClusterState;
import org.apache.solr.common.cloud.CompositeIdRouter;
import org.apache.solr.common.cloud.DocCollection;
import org.apache.solr.common.cloud.DocRouter;
import org.apache.solr.common.cloud.DocRouter.Range;
import org.apache.solr.common.cloud.Slice;
import org.apache.solr.common.cloud.ZkNodeProps;
import org.apache.solr.common.cloud.ZkStateReader;

public class UpdateClusterstat {

	/**取分片对应hash范围值
	 * @param totalShardNum 总共有多少分片
	 * @param shardNum  第几个分片 ，1开始
	 * @return
	 */
	public static  String getRange(int totalShardNum, int shardNum) {
		DocRouter hp = DocRouter.DEFAULT;
		List<Range> ranges;
		ranges = hp.partitionRange(totalShardNum, hp.fullRange());
		int index = shardNum - 1;
		Range r = ranges.get(index);
		return r.toString();
	}

	public static void main(String[] args) {
		System.out.println("###");
		try {
			// testSliceStateUpdate("audio_comment", "shard2",
			// "d5550000-2aa9ffff");
			// testSliceStateUpdate("audio_tags", "shard1",
			// "80000000-ffffffff");
			// testSliceStateUpdate("audio", "shard2", "0-7fffffff");
//			testSliceStateUpdate("DeviceIDFA", "shard1", "80000000-7fffffff");
//			testSliceStateUpdate("analzyerword", "shard1", "80000000-7fffffff");
			String range = getRange(2,2);
			testSliceStateUpdate("DeviceIDFA", "shard1", range);
			System.out.println(range);

		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}

	public static void testSliceStateUpdate(String collection, String shard,
			String range) throws Exception {
		String zkHost = "zookeeper:2181/new_on_lizhi_search";
		int zkClientTimeout = 2000;
		int zkConnectTimeout = 2000;
		CloudSolrServer solrServer = CloudSolrServerFactory.getInstance(zkHost,
				zkClientTimeout, zkConnectTimeout, collection);
		ClusterState cluster = solrServer.getZkStateReader().getClusterState();
		Map<String, Slice> slicesMap = cluster.getSlicesMap(collection);
		Slice slice = slicesMap.get(shard);

		Map<String, Object> prop = slice.getProperties();
		prop.put("range", range);
		prop.remove("parent");

		Slice newSlice = new Slice(slice.getName(), slice.getReplicasMap(),
				prop);
		slicesMap.put(newSlice.getName(), newSlice);

		Map<String, Object> props = new HashMap<String, Object>(1);
		props.put(DocCollection.DOC_ROUTER,
				ZkNodeProps.makeMap("name", CompositeIdRouter.NAME));
		DocCollection coll = new DocCollection(collection, slicesMap, props,
				DocRouter.DEFAULT);
		ClusterState newState = cluster.copyWith(Collections.singletonMap(
				coll.getName(), coll));
		solrServer
				.getZkStateReader()
				.getZkClient()
				.setData(ZkStateReader.CLUSTER_STATE,
						ZkStateReader.toJSON(newState), true);

	}
}


处理后，测试已没有问题。



源远流长
关注
专栏目录
18.8 分区中的NULL值处理
weixin_41275260的博客
06-01 175
18.8　分区中的NULL值处理 MySQL中支持在分区中使用NULL值，每种分区中对NULL值的处理方式不尽相同，本节就简单介绍MySQL中每种分区是如何处理NULL值的。 18.8.1　RANGE分区中的NULL值 在RANGE分区中，NULL值会被当作最小值进行处理。例如，创建数据表t_members_range_null，按照group_id进行RANGE分区。...
创建solr集群的shard与collection
wxshi的专栏
04-30 3266
简单的实现solr创建collection与shard、拆分shard、删除shard
Solr学习笔记(四）——Range Faceting
Godric的杂记
04-12 1498
应用场景某些应用会针对数据中的日期字段或者数值字段进行统计分析，比如： 统计最近一段时间的数据量，并按天进行统计后绘制柱状图、折线图； 按照商品价格范围进行统计。 实现方式利用Solr提供的Range Faceting功能，对日期或者数值字段进行范围统计。除了基本的查询参数，还需要指定如下参数： 参数 描述 facet.range 指定需要进行范围分片的字段，注意，如果指定了该参数，就
solr Shard分片的理解
fengbin2005
03-04 1723
solr Shard分片                                                                                   - shard1                                                    collection (逻辑上的实例)  - shard2         ...
solr服务器复制、服务器分发(shard)、Multicore(分片)配置，SolrJ的使用
江夏lz的博客
07-16 532
Solr服务器复制的配置 1，首先测试在本机上开启三个tomcat的服务器：一个端口是80，另一个是9888 2，按照标题一的配置对第二和第三个tomcat服务器进行类似的配置，注意SolrHome的目录不要相同即可，其他的配置不变. 例如:以本机为例 tomcat命名      URL SolrHome目录URI       web.xml配置 ...
solr4.7服务搭建
07-22
### Solr 4.7 服务搭建详细指南 #### 一、环境准备 为了搭建 Solr 4.7 服务，我们需要确保以下环境已经准备好： 1. **Java Development Kit (JDK) 1.7**：Solr 需要 Java 运行环境支持，这里我们选择 JDK 1.7 ...
solr4.7服务器
06-05
Solr4.7服务器是基于Java的开源搜索和分析引擎，它在Apache Lucene库的基础上构建，用于提供高效、可扩展的全文检索、数据分析和分布式搜索服务。此版本的Solr适用于Java运行环境JDK1.6，这表明它是对较旧Java版本的...
solr4.7从数据库导数据[归类].pdf
10-20
Solr 4.7 是一个流行的全文搜索引擎，它允许用户通过数据导入处理器（DataImportHandler, DIH）从关系型数据库如 SQL Server 导入数据并建立索引，以实现快速搜索。在这个教程中，我们将深入理解如何在 Solr 4.7 中...
solr4.7中文企业开发参考文档
07-06
Solr，全称为Apache Solr，是一款开源的企业级搜索引擎，由Apache软件基金会开发。Solr 4.7是其在2013年的版本，它提供了高效、可扩展的全文检索、命中高亮、 faceted search（面向切面的搜索）、结果排序等功能，...
利用zk客户端删除solr shard
weixin_30895603的博客
10-09 245
进入zk客户端 ./bin/zkCli.sh -server ip:2181 显示所有的内容： ls / 删除数据： rmr /filename path 转载于:https://www.cnblogs.com/zhanggl/p/4864531.html
solr的collection,shard,replica,core概念
张无忌_蜘蛛侠的博客
02-13 1431
solr的collection,shard,replica,core概念
SolrCloud zookeeper节点信息
weixin_30270561的博客
01-04 106
shard 节点列表 get /collections/appstore/leaders/shard1 { "core":"appstore", "node_name":"192.168.1.123:8080_solr", "base_url":"http://192.168.1.123:8080/solr"} cZxid = 0x90000019a ctime = Mon...
[App] MongoDB Cluster 配置
唐僧没有肉的博客
12-12 746
Mongodb集群有三种模式：  Replica Set 、 Sharding、Master-Slaver 现在演示 Replica Set 模式。   主节点 172.16.237.128 备节点 172.16.237.129 仲裁 172.16.237.129 os rh
Solr4.7源码分析-启动篇之Solr Cloud（二）——solr选举机制
wenchanter的专栏
07-31 1442
接前一篇文章 http://blog.csdn.net/wenchanter/article/details/37915127 solr cloud启动时
SolrCloud阶段总结
12-31 118
SolrCloud阶段总结 开发类型 全文检索相关开发 Solr版本 4.2 文件内容 本文介绍SolrCloud的功能使用及相关注意事项 在代码文本框中如有显示不全的,请在文本框中按Ctrl+A再复制. 版本 作者/修改人 日期 ...
solr入门之lucene的索引操作之增加,删除,修改,查询及查询解析代码模板
筑梦者
04-14 1386
package com.git.lucene; import java.io.File; import java.io.IOException; import java.util.ArrayList; import org.apache.commons.io.FileUtils; import org.apache.lucene.analysis.Analyzer; import org.ap
@NotEmpty、@NotNull、@NotBlank~@range~@slf4j
缘字诀的博客
10-15 4944
@NotEmpty、@NotNull、@NotBlan@ApiModelProperty()的区别 1 @NotEmpty :不能为null，且Size>0 2 @NotNull:不能为null，但可以为empty,没有Size的约束 3 @NotBlank:只用于String,不能为null且trim()之后size>0 @ApiModelProperty() 用于方法，字段； 表示...
Solr查询报错：org.apache.solr.common.SolrException: Collection not found 处理
ytangdigl的博客
02-22 6522
1、报错描述 org.apache.solr.common.SolrException: Collection not found: dem6 at org.apache.solr.client.solrj.impl.CloudSolrServer.getCollectionList(CloudSolrServer.java:655) at org.apache.solr.client.sol...
Apache Solr 4.7 指南：核心功能与实战解析
在4.7版本中，Solr提供了强大的分面统计功能，可以基于字段值进行统计和过滤。 5. **Spell Checking（拼写检查）**：Solr内置了拼写检查器，能自动检测并纠正用户输入的拼写错误，提高用户体验。 6. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值