解决elasticsearch主分片unassigned的问题

最新推荐文章于 2024-04-28 13:35:36 发布
最新推荐文章于 2024-04-28 13:35:36 发布
阅读量5.8k 收藏 1
点赞数
分类专栏： 服务器与存储 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jb19900111/article/details/79990801
版权

[root@localhost ~]# sh -x /tmp/es.sh
+ curl -XPOST localhost:9500/_cluster/reroute -d ‘{
“commands”:[
{
“allocate”:{
“index”: “simtest”,
“shard”: 0,
“node”: “Lady Mastermind”,
“allow_primary”: true
}
}
]
}’

{
    "acknowledged": true,
    "state": {
        "version": 40,
        "master_node": "zVTN_KP_TX6o1RrZNr4TAg",
        "blocks": {},
        "nodes": {
            "zVTN_KP_TX6o1RrZNr4TAg": {
                "name": "Lady Mastermind",
                "transport_address": "inet[/192.168.126.182:9511]",
                "attributes": {}
            }
        },
        "metadata": {
            "templates": {
                "ss_template_v1": {
                    "template": "ss_index*",
                    "order": 0,
                    "settings": {
                        "index": {
                            "number_of_replicas": "0",
                            "analysis": {
                                "filter": {
                                    "filter1": {
                                        "type": "standard"
                                    },
                                    "filter3": {
                                        "type": "stop"
                                    },
                                    "filter2": {
                                        "type": "lowercase"
                                    }
                                },
                                "analyzer": {
                                    "virus_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "virus_tokenizer"
                                    },
                                    "md5_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "md5_tokenizer"
                                    },
                                    "url_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "url_tokenizer"
                                    },
                                    "char_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "char_tokenizer"
                                    },
                                    "virus_type_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "file_tokenizer"
                                    },
                                    "gene_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "gene_tokenizer"
                                    },
                                    "ip_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "ip_tokenizer"
                                    },
                                    "key_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter2"],
                                        "tokenizer": "key_tokenizer"
                                    },
                                    "file_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "file_tokenizer"
                                    }
                                },
                                "tokenizer": {
                                    "char_tokenizer": {
                                        "group": "-1",
                                        "type": "pattern",
                                        "pattern": "[\\W+]"
                                    },
                                    "md5_tokenizer": {
                                        "pattern": "[\\W]",
                                        "group": "-1",
                                        "type": "pattern"
                                    },
                                    "file_tokenizer": {
                                        "group": "-1",
                                        "type": "pattern",
                                        "pattern": "[_\\-]"
                                    },
                                    "virus_tokenizer": {
                                        "group": "-1",
                                        "pattern": "[\\\\{\\\\}\\\\.:/&=)(\\[\\]\\s]",
                                        "type": "pattern"
                                    },
                                    "ip_tokenizer": {
                                        "pattern": "[\\\\.]",
                                        "type": "pattern",
                                        "group": "-1"
                                    },
                                    "gene_tokenizer": {
                                        "group": "-1",
                                        "pattern": "[\\\\._]",
                                        "type": "pattern"
                                    },
                                    "key_tokenizer": {
                                        "type": "keyword",
                                        "buffer_siz": "2028"
                                    },
                                    "url_tokenizer": {
                                        "type": "pattern",
                                        "group": "-1",
                                        "pattern": "[:\\\\?\\\\./&=]"
                                    }
                                }
                            },
                            "number_of_shards": "5"
                        }
                    },
                    "mappings": {
                        "ss_type": {
                            "properties": {
                                "crc32": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "sha256": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "virus_family": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "archive_info": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "virus_name": {
                                    "store": true,
                                    "analyzer": "char_analyzer",
                                    "type": "string"
                                },
                                "sha1": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "is_child_file": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "is_digital_signa": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "compiler_info": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "original_file_name": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "source_name": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "archive_bom": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "avpscan": {
                                    "store": true,
                                    "analyzer": "char_analyzer",
                                    "type": "string"
                                },
                                "is_exe_embedded": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "ssdeep": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "file_size": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": 0,
                                    "type": "integer"
                                },
                                "is_archive": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "is_unknown_detection": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "is_virus": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "avp_virus_type": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "format_name": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "virus_platform": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "self_extract_achieve": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "self_extract_achieve_flag": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "infected_judgement": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "compiler_info_flag": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "pack_info": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "final_result": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "md5": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "virus_action": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "is_product_version": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "detectvm": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                },
                                "ex_time": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "format": "yyyy-MM-dd HH:mm:ss",
                                    "type": "date"
                                },
                                "is_pack": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "null_value": "false",
                                    "type": "boolean"
                                }
                            }
                        }
                    }
                },
                "ss_url_ip_dom_v1": {
                    "template": "t_relate*",
                    "order": 0,
                    "settings": {
                        "index": {
                            "number_of_replicas": "0",
                            "analysis": {
                                "filter": {
                                    "filter1": {
                                        "type": "standard"
                                    },
                                    "filter3": {
                                        "type": "stop"
                                    },
                                    "filter2": {
                                        "type": "lowercase"
                                    }
                                },
                                "analyzer": {
                                    "virus_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "virus_tokenizer"
                                    },
                                    "md5_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "md5_tokenizer"
                                    },
                                    "url_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "url_tokenizer"
                                    },
                                    "char_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "char_tokenizer"
                                    },
                                    "virus_type_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "file_tokenizer"
                                    },
                                    "gene_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "gene_tokenizer"
                                    },
                                    "ip_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "ip_tokenizer"
                                    },
                                    "key_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter2"],
                                        "tokenizer": "key_tokenizer"
                                    },
                                    "file_analyzer": {
                                        "type": "custom",
                                        "filter": ["filter1", "filter2", "filter3"],
                                        "tokenizer": "file_tokenizer"
                                    }
                                },
                                "tokenizer": {
                                    "char_tokenizer": {
                                        "group": "-1",
                                        "type": "pattern",
                                        "pattern": "[\\W+]"
                                    },
                                    "md5_tokenizer": {
                                        "pattern": "[\\W]",
                                        "group": "-1",
                                        "type": "pattern"
                                    },
                                    "file_tokenizer": {
                                        "group": "-1",
                                        "type": "pattern",
                                        "pattern": "[_\\-]"
                                    },
                                    "virus_tokenizer": {
                                        "group": "-1",
                                        "pattern": "[\\\\{\\\\}\\\\.:/&=)(\\[\\]\\s]",
                                        "type": "pattern"
                                    },
                                    "ip_tokenizer": {
                                        "pattern": "[\\\\.]",
                                        "type": "pattern",
                                        "group": "-1"
                                    },
                                    "gene_tokenizer": {
                                        "group": "-1",
                                        "pattern": "[\\\\._]",
                                        "type": "pattern"
                                    },
                                    "key_tokenizer": {
                                        "type": "keyword",
                                        "buffer_siz": "2028"
                                    },
                                    "url_tokenizer": {
                                        "type": "pattern",
                                        "group": "-1",
                                        "pattern": "[:\\\\?\\\\./&=]"
                                    }
                                }
                            },
                            "number_of_shards": "5"
                        }
                    },
                    "mappings": {
                        "es_source_data": {
                            "properties": {
                                "t_domain": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "crc32": {
                                    "index": "no",
                                    "store": true,
                                    "type": "string"
                                },
                                "source": {
                                    "store": true,
                                    "null_value": "yq-system",
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "dst_ip": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "md5": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "virus_name": {
                                    "index": "no",
                                    "store": true,
                                    "type": "string"
                                },
                                "family_name": {
                                    "index": "no",
                                    "store": true,
                                    "type": "string"
                                },
                                "s_port": {
                                    "index": "no",
                                    "store": true,
                                    "type": "string"
                                },
                                "src_ip": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "up_time": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "format": "yyyy-MM-dd HH:mm:ss",
                                    "type": "date"
                                },
                                "capture_province": {
                                    "index": "no",
                                    "store": true,
                                    "type": "string"
                                },
                                "d_port": {
                                    "index": "no",
                                    "store": true,
                                    "type": "string"
                                },
                                "url": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                }
                            }
                        },
                        "tip_url": {
                            "properties": {
                                "tip_url": {
                                    "store": true,
                                    "null_value": "yq-system",
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                }
                            }
                        },
                        "t_url": {
                            "properties": {
                                "crc32": {
                                    "index": "no",
                                    "store": true,
                                    "type": "string"
                                },
                                "source": {
                                    "store": true,
                                    "null_value": "t-system",
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "md5": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "method": {
                                    "index": "no",
                                    "store": true,
                                    "type": "string"
                                },
                                "ex_time": {
                                    "index": "not_analyzed",
                                    "store": true,
                                    "format": "yyyy-MM-dd HH:mm:ss",
                                    "type": "date"
                                },
                                "url": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                }
                            }
                        },
                        "t_shunt_virus_event": {
                            "properties": {
                                "t_domain": {
                                    "store": true,
                                    "analyzer": "key_analyzer",
                                    "type": "string"
                                },
                                "crc32": {
                                    "index": "no",
                                    "store": true,
                                    "type": "string"
                                },
                                "probe_id": {
                                    "index": "no",
                                    "store": true,
                                    "type": "string"
                                },
                                "t_virus_name": {
最低0.47元/天 解锁文章
对World说Hello
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES主分片和副本数据大小不一样的情况
01-09
在Elasticsearch (ES) 中，主分片和副本分片的数据大小可能不一致，这主要是由于它们内部的segment数量和结构差异所引起的。在理解这个问题之前，我们需要先了解一下ES的基本概念。 Elasticsearch 是一个分布式、...
JavaScript中的对象，入职3个月的前端程序员面临转正，四轮面试后多久出结果
2201_75604580的博客
04-14 510
如果你已经下定决心要转行做编程行业，在最开始的时候就要对自己的学习有一个基本的规划，还要对这个行业的技术需求有一个基本的了解。有一个已就业为目的的学习目标，然后为之努力，坚持到底。如果你有幸看到这篇文章，希望对你有所帮助，祝你转行成功。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注前端）一个人可以走的很快，但一群人才能走的更远！
解决elasticsearch分片unassigned的3个方法
dlm_bk的博客
10-31 5507
在一次es集群崩溃重启之后，有分片出现了UNASSIGNED状态，我发现一直没有总结过这个问题的解决方法，以下是我所了解的解决方法，望补充，或指明问题 1.查找UNASSIGNED分片 命令： GET /_cat/shards 在返回结果中查看状态为UNASSIGNED的分片 2.加载UNASSIGNED分片 使用reroute解决 对UNASSIGNED的分片执行以...
elasticsearch分片报错Unassigned
2401_84411072的博客
04-28 293
此时他会自动分配到其他节点，如果一直没有分配到其他节点，那就是其他节点有错误信息，没同步成功，我这里就一直没成功，发现是应为ik分词器报错，所以在子节点安装了ik分词器以后重启节点即可。成功的截图（我后来又将副分片设置成一就好了，设置成2仍然会出现3个未分配分片，应该和节点数量有关。它和其它框架（jquery）的区别是什么？描述下 vue 从初始化页面–修改数据–刷新页面 UI 的过程？Vue 的 nextTick 的原理是什么？组件中写 name 选项有什么作用？Vue 中 key 值的作用？
Elasticsearch 性能监控2（五种常见问题的解决办法）
客人
06-14 3835
前言：本文为es性能监控基础的扩展，大家可以先看下性能监控基础，熟悉下es的基本原理。为翻译性质文档，感谢原作者。原始文档类似于汽车的运行方式，Elasticsearch旨在让用户快速上手和运行，而无需了解其所有的内部工作。然而我们在使用过程中，总会遇到这样那样的问题。下文将介绍Elasticsearch使用时经常遇到的一些挑战，以及我们如何应对这些挑战。一、我的es集群是红色或者黄色的，我该如何...
ES内部分片处理机制
热门推荐
mgxcool的专栏
10-19 2万+
ES内部分片工作机制
spring data elasticsearch在集群新建了索引出现unsigned
lilovfly的专栏
02-02 1137
我用spring data elasticsearch新建了索引出现了unsigned ,7发现重启一下就好了。
Elasticsearch集群索引分片未分配unassigned导致集群状态红色red异常若干问题解决记录
克隆大菠萝的超市
11-25 5665
一.背景 今天收到告警短信发现某个业务系统几台服务器的日志收集服务filebeat均已下线，把filebeat都重启之后，准备到Kibana查阅业务系统的日志，检索异常条目，发现从凌晨开始的日志条目都没有，今天的索引也没有建成，查看集群监控，发现elasticsearch集群状态为red，也无法继续使用和写入数据，于是开始着手排查故障。 二.系统环境： 所使用集群架构组件及版本信息如下： 操作系统OS版本：CentOS Linux release 7.9.2009 (Core) 名称 版...
ElasticSearch合理分配索引分片原理
08-19
同时，ES默认为一个索引创建5个主分片，并分别为其创建一个副本分片。主分片和副本都能处理查询请求，它们的唯一区别在于只有主分片才能处理索引请求。 二、索引和分片是否是空闲的 对于每个ElasticSearch索引，...
Elasticsearch分片原理
01-07
Shards主分片 代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改,这里...
MySQL 与 Elasticsearch 数据不对称问题解决办法
09-09
通过以上方法，我们可以有效地解决MySQL与Elasticsearch之间的数据不对称问题，保持两者之间的数据一致性。需要注意的是，不同业务场景可能需要不同的解决方案，因此在实际应用中，应根据具体需求选择最适合的策略。
掌控数据洪流：深度解析 Elasticsearch 分片管理
最新发布
07-18
Elasticsearch 是一个基于 Lucene 构建的开源、分布式、RESTful 风格的搜索和分析引擎。它通常用于处理大量数据的搜索、分析和存储任务。以下是 Elasticsearch 的一些关键特点： 1. **分布式**：Elasticsearch 可以...
elasticsearch分片unassign问题处理
Colinspace
06-15 1542
elasticsearch集群状态yellow告警，发现是部分分片出现 unassign状态导致，这里整理问题分析排查处理的过程核心步骤，希望分享给大家，遇到类似问题能尽快处理恢复业务使用
解决elasticsearch 中UNASSIGNED问题
qq_35008624的博客
12-20 2051
在测试环境中，由于某个分片损坏，导致整个集群状态为red，如下图所示： 对于索引index_question_youdao分片0损坏了，导致整个集群出现问题。解决方法： 1）恢复存有0分片的源节点，并加入到集群中（不强制重新分配主分片） 2）使用RerouteAPI强制重分配分片 -XPOST _cluster/reroute { "commands": [ ...
ElasticSearch--解决分片unassigned的问题
最后的武艺集大成者
11-23 9308
1.解决分片unassigned的问题      本篇博客在es的javaApi操作上来的      使用head插件查看javaApi操作插入的数据是出现分片问题的情况，如图：        查看集群健康状态：curl -XGET http://192.168.203.128:9200/_cluster/health\?pretty 查看所有分片的状态：curl -XGET htt...
ES分片报unassigned原因为ALLOCATION_FAILED（由于分片分配失败导致未分配）
Coding Farmer的博客
04-28 1万+
现象：单节点ES，interface-index-2019.04.26的索引主分片有unassigned，所以ES健康值显示Red，后面的索引日志没有收集到ES中。 查看原因： 错误原因： "unassigned_info": { "reason": "ALLOCATION_FAILED", "at": "2019-04-28T05:02:37.262Z", "det...
如何解决Elasticsearch unassigned shards 问题
aa1bb1cc2的专栏
09-06 2万+
原文链接https://www.datadoghq.com/blog/elasticsearch-unassigned-shards/ 如何解决Elasticsearch unassigned shards 问题 在Elasticsearch中，健康的集群是一个均衡的集群：主节点和副本分片分布在所有节点上，以便在节点发生故障时具有持久的可靠性。 但是当你看到碎片在UNASSIGNED状态中挥...
Es中出现unassigned shards问题解决
土豆是狗的博客
11-01 3455
unassigned shards 这种问题很常见，我主要列了出来几种情况，及解决办法，目前我的情况是测试环境，如果以后遇到相似情况会持续跟进这个问题，欢迎大佬指导！
ES集群中出现UNASSIGNED分片时的解决思路
litterfrog的博客
06-15 7246
es Unassigned的状态出现原因，以及解决方案
深度解析Elasticsearch搜索与分片优化技巧
举例来说，假设一个索引数据有 5 个主分片和 1 个副本，共 10 个分片，一次请求只会命中其中的一个分片。每个分片都会在本地进行查询，然后将结果返回到一个本地有序的优先队列中。这些本地的结果会发送到协调节点，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值