Elasticsearch存储性能优化

于 2024-06-05 15:46:03 发布
阅读量284 收藏 10
点赞数 4
分类专栏： ElasticSearch 文章标签： elasticsearch 大数据 搜索引擎 es存储优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zc_huiyanruju/article/details/139474331
版权

 目录

优化方向

使用es自己生成的id, 不用程序生成的id

修改index.refresh_interval参数

手动设置索引库的mapping

动态创建索引

优化方向

使用es自己生成的id, 不用程序生成的id

  1. 程序生成id插入1w+条数据所需的时间
  2. es自己生成id插入1w+条数据所需的时间

修改index.refresh_interval参数

index.refresh_interval参数, 默认是1s, 调用es保存方法后, 不会马上查询出来, 会在1s后才查询出来, 所以说es是近实时数据库, 当然也可以改的小一点, 把此参数改大可提示存储速度, 修改此参数注意自己的业务场景, 如果保存后需要在2s内进行更新, 那把此参数改成小于2s, 就会更新失败了, 更多此参数介绍: ES近实时刷新与refresh_interval参数设置相关问题_四角蜗牛的博客-CSDN博客

  1. 设置为1s的时间插入1w+条数据所需的时间
  2. 设置为2s的时间插入1w+条数据所需的时间

手动设置索引库的mapping

  1. es根据字段自动生成的mapping插入1w+条数据所需的时间
  2. 手动创建的插入1w+条数据所需的时间

动态创建索引

官方给的建议一个分片建议不超过50G, es默认创建的索引是5个主分片,1个副分片, 这个速度不一定能提升很多, 因为需要根据实际业务场景来的, 可以根据实际业务来动态创建索引, 比如按天之类的

A慧眼如炬
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch写入性能优化
jamesjxin的专栏
01-13 4万+
性能测试建议 在一个节点的一个分片，不设置副本，测试性能 在完全默认设置上记录性能数据，作为测试的基准线 确保性能测试持续30分钟以上以确认长时间的性能；短时间的测试可能不会碰到segment合并和GC，无法确认这些因素的影响 每次基于默认基准线更改一个参数，如果性能有提升就保留设置，并基于此设置做后续的测试 bulk使用建议 每个请求大小建议在5-15MB，逐步增大测试,当接收到EsRejecte
ES 索引设置“refresh_interval“: “60s“后，为什么直接get没有延迟，search会有
最新发布
大叶子不小的博客
05-31 626
这意味着，如果文档已经被写入并更新到内存中的索引数据结构中，那么 GET/MGET 操作将会立即返回最新的文档版本，而不需要等待刷新操作完成。需要注意的是，如果你在写入文档后立即执行 GET/MGET 操作，可能会看到旧的结果，因为写入操作可能还没有完成。总之，在 Elasticsearch 7.x 版本中，读取操作默认是实时的，因此你可以在写入文档后立即读取最新的文档版本。但是，需要注意的是，在索引写入高并发的情况下，实时读取可能会导致性能瓶颈，因此你需要根据具体情况进行调整。ES7 读取是实时的吗。
Elasticsearch 7.x : 刷新周期 refresh_interval
不见其长，日有所长
07-08 4250
1. 简介 当数据添加到索引后并不能马上被查询到，等到索引刷新后才会被查询到。 refresh_interval 配置的刷新间隔。 refresh_interval 的默认值是 1s。 单位： 如果是指定的纯数字，单位是毫秒。当 refresh_interval 为 -1 时，意味着不刷新索引。 ms: 毫秒 s: 秒 m: 分钟 当需要大量导入数据到ES中，可以将 refresh_interval 设置为 -1 以加快导入速度。导入结束后，再将 refresh_interval 设置为一个正数，例
Elasticsearch调优经历
weixin_43661484的博客
07-08 255
默认情况下ElasticSearch索引的refresh_interval为1秒，这意味着数据写1秒才就可以被搜索到。 每次索引refresh会产生一个新的 lucene 段，这会导致频繁的 segment merge 行为，对系统 CPU 和 IO 占用都比较高。 如果产品对于实时性要求不高，则可以降低刷新周期，如：index.refresh_interval: 120s。 但是这种特性对于功能测试来说比较麻烦： 因为实时性不能保证，所以每次插入测试数据之后，都需要sleep一段时间，才能进行测试。 因为
es Refresh和Flush区别
花花公子
04-28 1325
refresh操作 默认情况下,es每隔一秒钟执行一次refresh，可以通过参数index.refresh_interval来修改这个刷新间隔，执行refresh操作具体做了哪些事情呢? 所有在内存缓冲区中的文档被写入到一个新的segment中,但是没有调用fsync,因此内存中的数据可能丢失 segment被打开使得里面的文档能够被搜索到 清空内存缓冲区 flush操作 随着tran...
Elasticsearch的性能优化
02-24
Elasticsearch（后文简称ES）的基础是Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的路径可在ES的配置文件../config/elasticsearch.yml中配置，如下：磁盘涉及到IO的读写速度问题，因此如果条件允许的...
优化Elasticsearch查询性能
01-27
Elasticsearch严重依赖于文件系统缓存，以便快速进行搜索。通常应该确保至少有一半的可用内存进入文件系统缓存，以便Elasticsearch可以将索引的热区域保留在物理内存中。 如果搜索受I/O限制，应该调查为文件系统缓存...
百度Elasticsearch实践及优化-高攀
02-17
这包括但不限于贡献代码优化、性能测试工具或最佳实践文档，帮助其他开发者和企业提升Elasticsearch的使用体验。 综上所述，百度在Elasticsearch的实践和优化方面有着深度探索，从数据导入到查询优化，再到集群管理...
ElasticSearch官方测试数据
09-14
**Elasticsearch官方测试数据详解** Elasticsearch（ES）是一种流行的开源...通过对Elasticsearch官方测试数据的深入研究和实践，我们可以更好地理解和优化Elasticsearch的性能，为实际应用提供强大且高效的搜索服务。
理解ES的refresh、flush、merge
三思的博客
08-23 6258
文章目录一、refresh1.1 什么是refresh1.2 refresh api的使用1.3 refresh相关参数设置1.4 refresh特点二、flush2.1 什么是translog2.2 translog基本流程2.3 什么是flush2.4 flush api的使用2.5 flush 相关参数设置2.6 flush的特点三、merge1.1 什么是merge1.2 merge操作相关流程1.3 相关参数API1.4 merge的特点 一、refresh 对于任何数据库的写入来讲fsync刷
ES实时刷新与n秒刷新，压测性能耗损情况
王卫东 博客
12-07 1万+
ES压测 机器配置： CPU：4核     内存：8G 一、10万数据 1、50个线程（实时刷新，设置方法参考：http://blog.csdn.net/wwd0501/article/details/78316581） ①创建索引后，默认1s更新 耗时：131437ms(2分钟多)  丢索引情况：无丢失 CPU情况：100%左右 内存使用情况：30%左右 异常情况：无 ②
《ElasticStack从入门到实践》学习笔记5
Hiwes的博客
11-30 634
五、ElasticSearch的分布式特性     1、分布式介绍         1）ES支持集群模式，即一个分布式系统。其好处主要有以下2个:             A、可增大系统容量。比如：内存、磁盘的增加使得ES能够支持PB级别的数据；             B、提高了系统可用性。即使一部分节点停止服务，集群依然可以正常对外服务。         2）ES集群由多个ES实例构...
elasticsearch+hadoop项目
贪玩的小猫的博客
03-20 5586
系统核心架构设计 1、数据首先存入HDFS,可以通过Spark SQL直接导入到ES中， HDFS中的数据量与ES中数据量大致相当。2、Spark SQL可以直接通过建立Dataframe或者临时表连接ES，达到搜寻优化、减少数据量和筛选的目的，此时数据只在ES内存中而不在Spark SQL中。3、筛选后的数据重新导入到Spark SQL中进行查询。（整体流程代码见附录） 一、数据流程1、数据在H...
记录一次ES写入速度慢的解决过程
丹凤朝阳
11-02 5723
最近解决了一个因索引导致ES写入性能很低的问题，记录如下： 问题描述： 机器配置8C/16G 5个数据节点，照理来说性能应该不错，但是写入速度TPS只有4000左右，之后我们对写入进行bulk批量写入，虽然整体写入数据性能有所提高，但是ES的TPS依然不高，另外隔一段时间就发现ES的写入队列比较长，拒绝请求也非常高，查看Es日常日志和慢日志发现在请求过程中存在大量如下错误： failed to execute bulk item (index) BulkShardRequest [[xxxxx][0]]
ElasticSearch更新后延迟解决方法
wlchn
07-11 1万+
在index后有一个refresh_interval默认1秒，在这个时间间隔内search是不可见的。 解决办法有两种： 1，通过ui层解决。操作成功后只操作UI,而不是通过ES。 2，搜索时加上?refresh=wait_for，表示如果1秒内有请求立即更新并可见。参考： https://stackoverflow.com/questions/31499575/how-to-deal-wi
ElasticSearch57：内核原理探秘_优化写入流程实现NRT近实时(filesystem cache,refresh)
一枚程序员的博客
01-10 1321
1.现有流程的问题，每次都必须等待fsync将segment刷入磁盘，才能将segment打开供search使用，这样的话，从一个document写入，到它可以被搜索，可能会超过一分钟！！！这就不是近实时的搜索了！ 主要瓶颈是在fsync实际发生磁盘IO写数据进磁盘，是很耗时的。 写入流程改进： 1）数据写入到内存buffer队列中 2）每隔一定时间，buffer中的数据被写入segm
Elasticsearch 聚合性能优化六大猛招
热门推荐
铭毅天下Elasticsearch
02-01 1万+
1、问题引出默认情况下，Elasticsearch 已针对大多数用例进行了优化，确保在写入性能和查询性能之间取得平衡。我们将介绍一些聚合性能优化的可配置参数，其中部分改进是以牺牲写入性能...
Elasticsearch学习笔记1
08-08
本篇Elasticsearch学习笔记主要涵盖了五个关键知识点，旨在帮助读者深入理解如何管理和优化Elasticsearch集群的性能： 1. **监控fielddata**：Field data在Elasticsearch中扮演着存储和检索复杂数据结构的角色，如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值