elasticsearch最大节点数_对ElasticSearch(ES)性能优化实践

最新推荐文章于 2023-06-07 22:40:47 发布
最新推荐文章于 2023-06-07 22:40:47 发布
阅读量1.2k 收藏 4
点赞数
文章标签： elasticsearch最大节点数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40001519/article/details/112106237
版权
本文探讨了Elasticsearch在遇到性能瓶颈时的优化策略，包括基本配置、数据来源分析、问题排查，以及通过增加索引缓存、调整filedata cache大小、设置故障检测和线程数量等手段提升系统性能。
摘要由CSDN通过智能技术生成
1背景

1.1 基本配置

3个物理节点，单节点32G内存，4核，8TB机械硬盘，每个物理节点搭建一个Elasticsearch节点，Elasticsearch版本为6.2.4，采用管理工具为kibana、Elasticsearch-head和内部监控服务。

1.2 数据来源

数据为工业互联网安全态势感知平台内部处理的流式数据，Elasticsearch主要用于数据的存储和检索。

d31fee8ca0b94a6c33e4c2623231fa82.png

2发现问题

2.1 问题现象

由于公司业务的不断拓展和实施，安全态势感知平台每天处理的数据量在逐渐增加，Elasticsearch的写入性能达到瓶颈，数据不能及时写入到Elasticsearch中，积压在输出缓存中，还会传导至处理缓存，最终导致数据大量数据堆积在平台内部的kaf
最低0.47元/天 解锁文章
weixin_40001519
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ES 搜索优化提升性能
wangxuelei036的博客
06-15 1万+
下面本文将针对一些常规的地方讲诉一些优化技巧，主要从设计、通信、设备几个方面，涉及数据结构、磁盘I/O、CPU性能、网络通信开销、内存资源等
es-test:Elasticsearch单节点性能测试
05-25
Elasticsearch尺寸测试 方法 生成以下格式的平面文件或随机日志信息 [source IP address] [yyyymmddHHMMss] GET http://[random uuid]/[random uuid]/[random uuid]/[random uuid] 0 TCP_MISS/200 - [target IP ...
plsql大字段保存类型_ES 需要设置多少分片数？单字段支持的最大字符数？
weixin_39899226的博客
11-22 276
一、ES 究竟要设置多少分片数？在构建 Elasticsearch 集群的初期如果集群分片设置不合理，可能在项目的中后期就会出现性能问题。Elasticsearch 是一个非常通用的平台，支持各种各样的用例，并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为 ELK 新手的你将数据组织成索引和分片变得困难。虽然不一定会在首次启动时出现问题，但由于数据量随时间的推移，可能会导致性...
算法 之 “数据结构”（从入门到入坑）
weixin_45528838的博客
09-29 302
线性表详解 第一次写文章，一方面为自己的学习做个总结，另一方面希望和大家共同交流，共同进步。 线性表具体是什么东西我就不过于赘述了，随便找一本数据结构的参考书都有比较浅显易懂的介绍，在这里我主要分享线性表的定义和对其进行的操作。 1.线性表的两种表现形式 顺序表（顺序表示==数组） 链表表示 抽象数据类型线性表的定义 ADT List ...
Elasticsearch究竟要设置多少分片数？
热门推荐
铭毅天下Elasticsearch
09-24 6万+
0、引言本文翻译自Elasticsearch20170918热乎的官方博客，原作者：Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理，可能在项目的中后期就会出现性能问题。Elasticsearch是一个非常通用的平台，支持各种各样的用例，并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为ELK新手的你将数据组织成索引和分片变得困难。
elasticsearch最大节点数_<漫谈ElasticSearch>关于ES性能调优几件必须知道的事
weixin_39712016的博客
12-20 345
原创博客，转载请联系博主！(零)ElasticSearch架构概述ElasticSearch是现在技术前沿的大数据引擎，常见的组合有ES+Logstash+Kibana作为一套成熟的日志系统，其中Logstash是ETL工具，Kibana是数据分析展示平台。ES让人惊艳的是他强大的搜索相关能力和灾备策略，ES开放了一些接口供开发者研发自己的插件，ES结合中文分词的插件会给ES的搜索和分析起到很大的...
elasticsearch_ES_Elasticsearch界面_elasticsearch_源码
10-04
**Elasticsearch（ES）详解** Elasticsearch是一款开源、分布式、实时的全文搜索引擎，它基于Lucene构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。其强大的功能和易用性使得它在IT行业中备受青睐。...
es与solr的区别_solr_ES_es与solr的区别_elasticsearch_
10-03
在大数据和搜索引擎领域，Elasticsearch (ES) 和 Apache Solr 都是广泛使用的开源技术，它们都基于 Lucene 库，提供高性能、可扩展的全文搜索和分析能力。然而，两者在设计哲学、使用场景、功能特性以及社区支持等...
Elasticsearch进阶（一）写入性能基准测试写入性能优化
03-01
进入正题之前，解决之前的一个疑问：Elasticsearch集群是否已经正确工作？截图时，只上传过一次小测试数据（143万条），设置为：从图中可以看出，ip10节点上设置的数据目录：data1和data2目录工作正常，但是数据相同...
Elasticsearch性能优化汇总.docx
最新发布
07-22
### Elasticsearch性能优化详解 #### 一、硬件选择与磁盘I/O优化 Elasticsearch的基础构建于Lucene之上，所有索引及文档数据均存储在本地磁盘中。磁盘性能直接影响Elasticsearch的性能表现，尤其是在高负载情况下...
分布式搜索elasticsearch高级配置之（二）------线程池设置
云端分布式搜索技术
09-04 1万+
一个Elasticsearch节点会有多个线程池，但重要的是下面四个： 索引（index）：主要是索引数据和删除数据操作（默认是cached类型） 搜索（search）：主要是获取，统计和搜索操作（默认是cached类型） 批量操作（bulk）：主要是对索引的批量操作（默认是cached类型） 更新（refresh）：主要是更新操作（默认是cached类型） 可以通过给设置一个参数来
elasticsearch使用_Elasticsearch使用优化之拙见
weixin_39923945的博客
11-30 365
点击上方“方志朋”，选择“设为星标”做积极的人，而不是积极废人Elasticsearch常常作为日志存储和分析的工具，在企业级应用中常常使用。Elasticsearch提供强大的搜索、分析功能，已经是后端技术栈不可缺少的一部分。在维护ElastciSearch集群的时候，对Elasticsearch进行了一些调优和分析，现整理成文，纯属拙见，如果有不合理之处，欢迎指出探讨。我所使用的El...
elasticsearch最大节点数_elasticsearch三个重要的优化
weixin_39563722的博客
12-20 197
1、内存优化在bin/elasticsearch.in.sh中进行配置修改配置项为尽量大的内存：ES_MIN_MEM=8gES_MAX_MEM=8g两者最好改成一样的，否则容易引发长时间GC(stop-the-world)elasticsearch默认使用的GC是CMS GC如果你的内存大小超过6G，CMS是不给力的，容易出现stop-the-world建议使用G1 GC注释掉：JAVA_OPTS...
ES05# Elasticsearch节点指标梳理
gaoliang1719的专栏
04-23 660
引言节点状态GET _nodes/stats，简单的命令返回大量的指标信息，本文就一探究竟拨开主要指标的含义，文章主要内容有：节点信息说明操作指标说明缓存&事务&恢复指标一、节点信息说明1.节点数量"_nodes":{ "total":33, "successful":33, "failed":0 }指标说明：属...
Elasticsearch的节点与分片
thlzjfefe的博客
06-07 828
每个节点启动后，默认就是一个Master eligible节点，可以通过设置node.master:false来改变，Master-eligible节点可以参加选主流程，成为Master节点，每个节点都保存了集群的状态，但只有Master节点才能修改集群的状态信息，主节点主要负责集群方面的轻量级的动作，比如：创建或删除索引，跟踪集群中的节点，决定分片分配到哪一个节点，在集群再平衡的过程中，如何在节点间移动数据等。这些分片可以是主分片，也可以是副本分片，原因是对应的主分片和副本分片通常包含一样的文档。
Elasticsearch入门初探-单机多节点集群
仰望苍穹
01-22 1586
实时搜索引擎Elasticsearch（简称ES）是一个基于Apache Lucene(TM)的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好，这里分享Elasticsearch入门在单机下如何配置多节点集群。
Elasticsearch 集群规划之内存、磁盘、节点数、分片数的问题
Angus
06-12 4647
这篇文章主要包括以下几个点展开，一个是内存分配的问题，一个是节点数的问题，一个是分片数量的问题，还有就是磁盘的问题。这是我目前遇到的一些最需要考虑的问题，我看了很多文章，进行一些摘录。 # # 集群规模和容量规划预估方法 容量规划——预估集群中每个节点的分片数、内存及存储资源。 吞吐量规划——以预期的延迟和吞吐量估算处理预期操作所需的内存，计算和网络资源。 以上的任何一个问题，都会直接成为瓶颈。 # #磁盘相关，容量评估 第一，问自己几个问题： 您每天将索引多少原始数据（G...
es的搜索优化
ailiandeziwei的专栏
03-01 924
1. 为文件系统cache预留足够的内存 filesystem cache越大越好，为了使得搜索速度更快，ES严重依赖filesystem cache。一般来说，需要至少一般的可用内存作为filesystem cache，这样ES可以在内存中保有索引的热点区域 2. 使用更快的硬件 搜索一般是I/O bound的，此时，你需要： 为filesystem cache分配更多的内存...
Elasticsearch面试题汇总与解析
liuerchong的博客
10-24 6678
1. 什么是Elasticsearch？ Elasticsearch 是一个基于 Lucene 的搜索引擎。它提供了具有 HTTP Web 界面和无架构 JSON 文档的分布式，多租户能力的全文搜索引擎。 Elasticsearch 是用 Java 开发的，根据 Apache 许可条款作为开源发布。 2. ES中的倒排索引是什么？ 传统的检索方式是通过文章，逐个遍历找到对应关键词的位置。 倒排索引，是通过分词策略，形成了词和文章的映射关系表，也称倒排表，这种词典 + 映射表即为倒排索引。 其中词典中
Elasticsearch容量规划和性能优化指南
"Elasticsearch 大容量规划和性能优化" Elasticsearch 是一款功能强大且灵活的搜索引擎，可以满足各种搜索需求。但是，正确地规划 Elasticsearch 的容量和性能是非常重要的，以确保系统的稳定性和高效性。本文将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值