![](https://img-blog.csdnimg.cn/9e8410d8d2ad43bda87973810151bde2.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Elasticsearch运维实践
文章平均质量分 69
记录es运维中的问题,记录工作,记录生活。
可乐大数据
心中有光,所到之处皆是彩虹。
展开
-
Elasticsearch集群内如何使用reindex迁移索引,完成分片的拆分
根据实际的生产场景,reindex对源集群性能带来的影响非常大,不建议这样使用。reindex的逻辑是先查询,再写入,一次全量的查询和持续的写入,想想就知道对源集群有多大的压力。如果你的磁盘性能又特别差,集群负载本身就比较高,那你完蛋了。建议最好的方式是将索引迁移至新的es集群中,这样源集群只会涉及到查询,影响最小,新集群刚开始无业务压力,写入不会增加太大的负担。原创 2024-05-21 19:00:00 · 398 阅读 · 0 评论 -
Elasticsearch集群索引写入失败[FORBIDDEN/12/index read-only / allow delete (api)]处理流程
org.elasticsearch.hadoop.rest.EsHadoopRemoteException: cluster_block_exception: blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];原创 2023-06-15 11:18:37 · 3203 阅读 · 0 评论 -
安装Logstash并导入Movielens测试数据集(基于elasticsearch-8.5.2版本)
自定义部署标准标准描述eselasticsearch不允许使用root账号启动服务,如果你当前账号是root,则需要创建一个专有账户。本文档使用es作为专有用户。用于解压安装elasticsearch、java、kibana、logstash的软件安装包和相关配置文件。logstash-8.5.2的软连接解压后的Movielens测试数据集links.csv文件中的字段数据格式为:movieId,imdbId,tmdbIdmovieId: 每部电影的idimdbId: 电影排行榜。原创 2023-06-09 16:49:33 · 978 阅读 · 0 评论 -
elasticsearch常用命令
按照index字段排列。原创 2023-05-24 14:03:12 · 1641 阅读 · 0 评论 -
kibana和elasticsearch-head安装手册
离线安装,就是在联网的虚拟机上安装成功,打包elasticsearch-head-master目录,解压到离线服务器的家目录下。离线安装,就是在联网的虚拟机上安装成功,打包.npm目录,解压到离线服务器的es用户家目录下。打开/home/es/software/head文件夹,修改Gruntfile.js文件,添加hostname:‘*’**问题2:**Elasticsearch的服务地址和Kibana中配置的elasticsearch.hosts不同。如果输出版本号,则node和npm安装成功。原创 2023-01-03 09:07:54 · 1113 阅读 · 2 评论 -
Elasticsearch集群搭建手册及配置详情(基于elasticsearch-8.5.2版本)
Elasticsearch集群搭建手册及配置详情(基于elasticsearch-8.5.2版本)原创 2022-12-01 16:15:18 · 4526 阅读 · 0 评论 -
ES集群手动搭建步骤V1.0(基于elasticsearch-7.3.0版本)
本文档适用于搭建ES集群,支持两种类型的操作系统:Centos 6.5、Centos 7.3。原创 2022-11-08 17:46:38 · 863 阅读 · 0 评论 -
Elasticsearch核心概念
Elasticsearch简称ES,是一款基于的分布式全文搜索引擎,擅长海量数据存储、数据分析以及全文检索查询。它可以用于全文搜索、结构化搜索和数据分析。全文检索将非结构化数据中的一部分信息提取出来,重新组织,使其变得有一定结构,然后对此有一定结构的数据进行搜索,从而达到搜索相对较快的目的。结构化检索我想搜索华为手机的商品都有哪些,select*fromgoodswheregoods_id=‘华为’。数据分析电商网站,最近7天牙膏这种商品销量排名前10的商家有哪些;......原创 2022-07-27 10:45:47 · 283 阅读 · 0 评论 -
Elasticsearch集群如何实现高并发?
目录1、并发数与QPS和平均耗时的关系1.1、什么是并发数、QPS、平均耗时avg1.2、并发数、QPS和平均耗时三者关系1.3、QPS和并发数,究竟是何种关系?2、Elasticsearch 集群架构2.1、Elasticsearch 关键概念2.2、创建索引流程3、如何提高并发?3.1、优化分片的数量,控制分片的大小3.2、通过横向扩展节点,提高副本数量4、总结在压测思想里面,基本上很少会单独讨论高并发的概念,因为并发并不容易被量化,所以单纯的讨论高并发问题是不现实的。与并发有关的还有另外两个相关的概念原创 2022-06-14 08:56:27 · 6473 阅读 · 6 评论 -
Elasticsearch集群跨机房迁移方案
目录背景介绍1 A机房elasticsearch集群基本情况2 在B机房完成elasticsearch集群扩容2.1 扩容规划2.2 启动非master节点2.3 通知业务修改集群连接地址3 将索引数据排空迁移至B机房4 下线A机房data节点5 master节点切割5.1 关闭集群自动均衡5.2 从节点pending master切割5.3 主节点required master切割6 恢复集群配置7 修改B机房节点配置,不需要重启背景介绍原创 2022-05-17 17:24:04 · 1238 阅读 · 0 评论 -
es集群缩容方案(含一个master节点的缩容)
背景es虚拟机集群es-mini集群,一共有20个节点,目前需要缩容2台,两台节点分别为:192.168.0.20(data节点),192.168.0.3(master/data节点)。本文有几个不同。我们es安装在es用户下,安装目录在/home/es/software,其中es设置了软连接,在elasticsearch下,配置文件单独存放在/home/es/software/configs/es-mini目录下。启动脚本是自己写的es-daemon.sh,所以stop和start和开源有所不同。原创 2022-03-07 17:59:29 · 3560 阅读 · 0 评论 -
ES客户端停写,关闭和开启集群shard allocation
客户端停写1、关闭集群shard allocation# curl -H "Content-Type: application/json" -XPUT http://`hostname -i`:9100/_cluster/settings -d '{"persistent": {"cluster.routing.allocation.enable": "none"}}'{"acknowledged":true,"persistent":{"cluster":{"routing":{"allocatio原创 2021-03-19 20:12:08 · 709 阅读 · 0 评论 -
ES缩容下线和上线(排除和加入单个节点数据方法)
1、ES集群单节点单实例数据排除方法PUT _cluster/settings{ "persistent": { "cluster": { "routing": { "allocation.exclude": { "_ip":"192.168.168.101" } } } }}PUT _cluster/settings{ "transient": { "cluster": {原创 2021-03-09 15:22:22 · 1409 阅读 · 0 评论 -
一个正确的ES集群重启流程(附串行重启脚本)
目录1、关闭集群自动均衡、禁止集群写入2、重启es集群3、打开集群自动均衡、开启集群写入4、补充一个串行重启es集群的shell脚本注释:本集群所有操作都在跳板机或者堡垒机进行,运维日常一般不需要我们登录具体的机器。...原创 2021-09-02 16:41:49 · 10168 阅读 · 1 评论 -
es集群全停全起后集群red无法恢复,出现elasticsearch unassigned错误
问题描述:elasticsearch 重启后出现了elasticsearch Unassigned 异常,这个问题是因为数据分辨一场,那么需要重启这个数据分片。解决方案如下:#es强制分配索引分片1、先获取有问题的索引分片, UNASSIGNEDget _cat/shards/test_index2、查看有问题的索引分片,查到还未分配的节点。GET _cluster/allocation/explain{ "index": "test_index", "shard": 0,..原创 2021-12-29 15:39:05 · 1508 阅读 · 0 评论