Elasticsearch
文章平均质量分 66
ELK之一
月巴左耳东
搞一下不就知道了
展开
-
es master 节点数据丢失导致数据节点加入集群失败的灾难恢复
当时部署 master 角色的时候,没有给节点配置持久化,导致所有节点都下线后重新启动,data 节点无法加入集群,data 节点会有类似下面这样的报错(报错的内容非常的长,这里只截取关键的信息)指定 pvc 挂载的目录,如果是多个 pvc 都挂载到 pod 里面的不同地址的时候,这个参数就可以不用频繁的修改 pod 的挂载地址一个个处理了。每一个 data 节点的数据目录,都需要执行上面的操作,都执行完成后,可以把。正常情况下,会返回下面这样的输出,输入 y 然后回车,会返回。这个 pod 下线了。原创 2024-07-21 19:56:43 · 944 阅读 · 0 评论 -
k8s 部署 metribeat 实现 kibana 可视化 es 多集群监控指标
k8s 部署 metribeat 实现 kibana 可视化 es 多集群监控指标原创 2024-07-09 00:12:01 · 1234 阅读 · 0 评论 -
k8s 使用 helm 文件部署 8.12.2 es 分角色集群
节点。原创 2024-07-04 20:00:50 · 738 阅读 · 0 评论 -
es 报错 this action would add xx total shards, but this cluster currently has xx maximum shards open
验证配置,后面的 python 命令不是必须的,这个只是为了格式化 json,看起来更方便点。我这里是新部署的一个集群,当前集群没有数据,所以目前分片数都是 0。此时是创建成功的,查看一下当前集群的分片总数。,并且集群的总索引数就是。的情况下,返回的内容如下。可以看到,每个节点刚好。,表示集群最大索引数是。可以看到,这里已经有。这个时候,我们再插入。的索引就不会再报错了。166个2副本6分片。原创 2023-11-30 03:43:02 · 888 阅读 · 0 评论 -
es 报错 shard has exceeded the maximum number of retries [5] on failed allocation attempts
在重启 es 之前,关闭了索引自动分配的功能,es 节点逐一重启,避免脑裂问题(因为当前客户环境磁盘性能很差,甚至不如机械硬盘),结果还是因为 io 问题,导致集群重启完成后,动态查看集群状态一直是 red,并且。起因是 es 当时启动的时候 xmx 配置的小了,修改 xmx 和 xms 之后,需要重启 es;通过这里可以看出,集群已经重试了5次都失败了,然后给出建议是通过。通过报错,可以看出来是超过系统的重试次数,系统建议手动尝试。改成自己环境的 es 地址和 es 端口。,集群状态才能是 green)原创 2023-11-21 14:27:56 · 748 阅读 · 0 评论 -
es 报错 Data too large 触发断路器
es 报错 Data too large 触发断路器原创 2023-11-10 22:58:46 · 1333 阅读 · 0 评论 -
kubernetes 集群利用 efk 收集容器日志
找到导航栏的 logtrail,然后在输入框输入 pod_name: “” 来看指定容器的日志。apply 之后,就可以使用任一节点的 ip 加上 30007 去访问 kibana 的界面。以下只提供 yaml 文件,大家自己按照下面的顺序整理,然后依次 apply 即可。不一定会立刻生成,具体要看实际的环境是否有 pod 产生日志,需要等一会再看看。创建完 pvc 后,需要确认一下 pvc 是否为 Bound 状态。编写 dockerfile。原创 2023-08-03 15:41:50 · 783 阅读 · 2 评论 -
[ik_max_word] not found for field
{"error":{"root_cause":[{"type":"mapper_parsing_exception","reason":"analyzer [ik_max_word] not found for field [campaignTarget]"}],"type":"mapper_parsing_exception","reason":"Failed to parse mapping [_doc]: analyzer [ik_max_word] not found for field [camp原创 2022-04-29 11:20:23 · 2259 阅读 · 0 评论 -
head 插件 Content-Type header [application/x-www-form-urlencoded] is not supported
{ "error": "Content-Type header [application/x-www-form-urlencoded] is not supported", "status": 406}安装包路径下的 _site/vendor.js6886行contentType: "application/x-www-form-urlencoded",改成contentType: "application/json;charset=UTF-8",7573行var原创 2021-12-20 14:20:27 · 1310 阅读 · 0 评论 -
主机磁盘使用率超过85%导致es索引变为只读模式
[ type=cluster_block_exception, reason=index [ index_name ] FORBIDDEN/12/index read-only / allow delete (api)由于磁盘使用率达到85%,导致es锁了索引,索引变成了只读模式,当有数据写入的时候就会报上面的错误解决方法:curl -XPUT 'http://es_ip:es_port/index_name/_settings' \-H 'Content-Type: application.原创 2021-11-05 16:26:35 · 3212 阅读 · 0 评论 -
利用shell脚本[带注释的]部署单节点多实例es集群(docker版)
文章目录目录结构install_docker_es.shelasticsearch.yml.template没事写写shell[我自己都不信,如果不是因为工作需要,我才不要写shell],努力让自己的脚本更健壮[就像我自己一样臃肿]目录结构创建两个目录,准备两个文件即可./bin # 脚本存放路径└── install_docker_es.sh # 脚本名称随意./conf # 配置文件模板存放路径└── elasticsearch.yml.template # 配置文件模板ins原创 2021-09-01 22:53:28 · 362 阅读 · 0 评论 -
Elasticsearch 7.12 启用 x-pack 组件
文章目录修改配置文件设置密码使用密码首先,你要有一套es,关于es的部署,可以看我的另一篇博客https://blog.csdn.net/u010383467/article/details/115419548?spm=1001.2014.3001.5501ELK-EFK-v7.12.0日志平台部署$ ./bin/elasticsearch-plugin install x-pack-> Installing x-pack-> Failed installing x-packE原创 2021-04-23 16:58:30 · 1055 阅读 · 1 评论 -
ELK-EFK-v7.12.0日志平台部署
文章目录ELK和EFK是什么关于ElasticsearchElasticSearch 重要特性ElasticSearch 基本概念ElasticSearch与关系性数据库的类比文档(Document)文档的存在场景文档的格式文档 ID文档的元数据索引(Index)映射(Mapping)弃用该概念的原因:节点Master-eligible 节点 和 Master 节点Data 节点 和 Coordinating 节点其他节点配置节点的类型分片(Primary Shard & Replica Shar原创 2021-04-03 19:55:43 · 2384 阅读 · 0 评论 -
利用 docker 部署 elasticsearch 集群(单节点多实例)
文章目录1、环境介绍2、拉取 `elasticserach` 镜像3、创建 `elasticsearch` 数据目录4、创建 `elasticsearch` 配置文件5、配置JVM线程数量限制6、启动 `elasticsearch docker 集群`7、验证 `elasticsearch` 集群8、插入以及查看 `elasticsearch` 索引信息1、环境介绍Linux:~ # cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core)原创 2021-01-21 20:52:18 · 984 阅读 · 0 评论 -
通过shell脚本统计elasticsearch indices每天的数量以及大小
前情提要:最近elasticsearch集群总出问题,之前虽然修复了,现在又出现新的问题,于是PM要求拉取elasticsearch每天建立的索引有多少,索引有多大,需要对机器进行评估客户现场无法接触到elasticsearch集群(生产环境,客户方不许可),通过dashboard开启一个pod(资源有限,无法流畅的操作),只好另寻妖路,从dashboard操作获取索引信息,再将文件传输到本机下面,我要开始装13了(我是菜13,狗头保命)# curl -XGET "localho..原创 2020-12-23 21:05:16 · 973 阅读 · 0 评论 -
记录一次elasticsearch-5.6.4宕机排查经历
犯罪现场~~es: 三节点,配置相同内存: 248GCPU: 没注意看磁盘: 2Tdata: 380G左右indices: 近9800条在下才疏学浅,目前跟着大佬学习,这个问题还没解决,大佬猜测是indices数量过高,将es打爆了,由于机器是客户的,indices的删减需要客户方的同意,暂时不确定是否是这个原因导致的,后期成功处理恢复es集群后,再来更新(为什么不看日志?因为日志太大了,108G,不知道应该搜索哪些关键字,有大佬知道,望赐教)下面分享两个遇到的犯罪现场~~~客户环境,就原创 2020-12-10 16:09:10 · 1339 阅读 · 0 评论