es查询优化思路

最新推荐文章于 2024-09-05 15:56:58 发布
最新推荐文章于 2024-09-05 15:56:58 发布
阅读量72 收藏
点赞数
文章标签： 大数据
原文链接：http://www.cnblogs.com/zhouj-happy/p/10976930.html
版权

尽可能的利用内存

  1. 将尽可能的索引留在内存，即留更多的堆外内存给es
  2. 不查询的字段尽量不要往es插入，节省索引的空间大小（es + hbase）
  3. 数据预热
  4. 冷热数据分离

文档字段设计

  1. 根据查询场景设计字段，避免复杂查询，将字段抹平。

分页优化

  1. 避免深分页，用scroll

转载于:https://www.cnblogs.com/zhouj-happy/p/10976930.html

alqnc20862
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Elasticsearch】ES查询慢问题排查思路 profile 参数
九师兄
02-23 8262
1.概述 转载：添加链接描述 2.场景 场景1 内存参数配置不合理，文件系统缓存不足。 场景2 查询范围过大，一次查询过多的分片，如全表扫描查询。 场景3 进行深度翻页查询，如查询10000之后的结果。 场景4 查询返回的结果集过大，如10w。 场景5 查询语句不是最优，如过滤查询可以使用filter。 场景6 使用模糊匹配查询造成内存溢出的问题。 场景7 聚合查询返回的结果集过大，聚合的范围过大。 场景8 聚合查询多唯一值引起的高内存使用率。 场景9 用text字段进行排序，造成fiel
记一次ES查询性能优化思路
u014645192的博客
10-10 1363
现状： es集群有很多索引，主要索引有routing 耗时平均85毫秒。问有没有优化空间。 思路： 首先得找到85毫秒是哪些步骤分摊的？然后一一查看是否有优化空间。 工具： Profile Api 很好的支持查看query、collect、rewrite的耗时。 took 耗时是指searchtransportaction 开始execute到response创建为止。中间包含以下步骤。 1.re...
Elasticsearch性能优化思路和最全优化细节
qq_32384985的博客
05-12 842
文章目录Elasticsearch性能优化思路优化方向与细节分片数量副本数量：段合并相关字段设置内存排序es缓存优化客户端优化索引别名机器配置 Elasticsearch性能优化思路 Elasticsearch是个非常依赖文件缓存的一个数据库，优化主要有两个思路，一个是优化搜索的逻辑，一个优化缓存。 搜索逻辑的优化，可以考虑使用合理的索引设置，合理的搜索方法，使得搜索的路径短、返回快、消耗资源少 缓存的优化就比较多了，首先是文件缓存，就是服务器除了jvm之外的缓存，这部分需要预留的充足，然后就是存储的体积，
ES性能优化最佳实践- 检索性能提升30倍！
热门推荐
Angus
10-26 91万+
虽然Elasticsearch是一款强大的搜索引擎技术，但在超大规模数据检索中，尤其是在处理大量检索关键词（150个以上）、对多个字段执行检索并使用脚本排序时，可能会面临严重的性能问题。 在我们实际的业务中，检索的时间可能到达300秒，无法满足实时交互需求。本文带你打开一个新思路。在未添加任何资源的情况下，我把性能提升了30倍，请求时间控制在10s内。多数请求能在3秒5秒内完成。一起来看看我是如何做到的叭。
Elasticsearch优化
IT从业者
11-27 2399
es搜索优化
ElasticSearch(3) - 慢查询优化思路
weixin_43367242的博客
09-04 972
ES 的慢查询可能会导致性能瓶颈，影响系统的响应时间和用户体验。要优化 ES 查询性能，可以从查询语句和表结构两个方面入。从优化角度，可以优化查询类型、合理使用fliter、限制字段返回等都是有效的方法。从优化角度，选择合适的字段类型、合理设置索引、优化分片和副本设置等也是提高性能的关键。
Elasticsearch 的亿级数据毫秒级查询优化思路
qianshanding0708的博客
06-04 321
很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5~10s，坑爹了。第一次搜索的时候，是 5~10s，后面反而就快了，可能就几百毫秒。你就很懵，每个用...
ElasticSearch性能优化思路
Nio的博客
03-18 164
扩展集群中节点的内存 ES中存储的数据量不要超过或稍微超过总内存，使得数据尽量的都可以存在于filesystem cache中，不用去读取磁盘 定时数据预热，使热点数据尽量长时间的存在于filesystem cache中 查询时不要使用比如 join/nested/parent-child 的操作，尽可能的让ES去做简单的事 ...
es查询大文本效率_Elasticsearch 技术分析（七）： Elasticsearch 的性能优化
weixin_39672296的博客
12-20 437
javajava8java开发Elasticsearch 技术分析(七)： Elasticsearch 的性能优化 硬件选择Elasticsearch(后文简称 ES)的基础是 Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的路径可在 ES 的配置文件../config/elasticsearch.yml中配置，如下：# --------------------...
【Elasticsearch】ES 慢查询 profile 参数
九师兄
05-18 1635
1.概述 es profile 参数类似逆向解析dsl，排查查询慢在哪？ 打印出DSL，可以通过接口： searchSourceBuilder.toString() 新增profile参数，查看到底哪里慢了。profile API的目的是：将ES高层的ES请求拉平展开，直观的让你看到请求做了什么，每个细分点花了多少时间。给你改善性能提供相关支撑工作。 使用举例如下： GET /_search { "profile": true, "query" : { "match" : { "me.
千万级数据查询中CK、ES、RediSearch方案的优化
q66562636的博客
06-01 3562
在开发中遇到一个业务诉求，需要在千万量级的底池数据中筛选出不超过 10W 的数据，并根据配置的权重规则进行排序、打散（如同一个类目下的商品数据不能连续出现 3 次）。下面对该业务诉求的实现，设计思路和方案优化进行介绍，对「千万量级数据中查询 10W 量级的数据」设计了如下方案整体方案设计为技术方案如下 对目标数据 result 进行排序，得到最终的「结果数据」。 CK分页查询 在「初版设计方案」章节的第 3 步提到了「从 CK 底池表取目标数据时，开启多线程，进行分页筛选」。此处对 CK 分页
es查询大文本效率_Elasticsearch大文件检索性能提升20倍实践（干货）
weixin_42293447的博客
01-12 2170
少废话，直接开始。1、大文件是多大？ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。项目中，有时候需要将一些扫描件、PDF文档、Word、Excel、PPT等文档内容导入Elasticsearch。比如：将《深入理解Elasticsearch》这边书导入ES，而这边书的全文内容被识别后的大小可能为3MB——5MB以上的字节。存入ES后是一个content字段，对这个co...
详细讲解hive on tez中各个参数作用，以及如何优化sql
最新发布
cclovezbf的博客
09-05 522
最近经常有优化sql的任务，但是自己能力有限，只能凭经验去优化，现整理加学习一波，也欢迎各位学习和讨论。我们经常用hivesql 的模型就是 join.如下。这里面发生了什么，执行流程是什么，为什么有的insert要几十分钟有的只要几分钟。--造1000w条数据 文件大小为300M已知上面的数据为1000w条其中 id=1的有1000条 其余id=1000到1000w的依次分布。
【大数据】Canal实现MySQL数据增量同步至Kafka：原理与配置解析
一个不断前行的程序者
09-04 988
Canal是一款开源的数据库增量日志解析组件，主要用于监控数据库数据变更，并将变更数据同步到其他存储介质。Canal通过模拟MySQL Slave的交互协议，实时获取数据库的增量更新，从而实现数据同步。本文将介绍如何使用Canal将MySQL的数据通过监听Binlog，增量发送到Kafka。Binlog（Binary Log）是MySQL数据库的二进制日志，记录了所有对数据库数据的修改操作。开启Binlog后，MySQL会实时将数据变更记录到Binlog文件中。
自然语言处理系列五十》文本分类算法》SVM支持向量机算法原理
weixin_52610848的博客
09-01 1458
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
rabbitmq高可用集群搭建
qq_40189664的博客
09-02 1276
在进行RabbitMQ搭建时，我们基于现有的连接数据和业务需求进行了深入分析。目前的统计数据显示，连接数为631，队列数为80418。为了确保业务需求的顺利满足，我们需要在云产品和自建RabbitMQ消息队列服务之间做出选择。经过比较发现，即使选择腾讯云的最高规格配置，其Queue数也难以满足我们的需求，并且成本相对较高。因此，我们决定搭建自建服务。为此，我们计划使用三台配置为的服务器节点，构建一个高可靠性集群，以确保系统的稳定性和可靠性。
高校为什么需要AIGC大数据实验室？
tipdm0301的博客
09-03 461
AIGC大数据实验室是一个专注于人工智能生成内容（AIGC）和大数据相关技术研究、开发与应用的创新实验平台。
大数据-120 - Flink Window 窗口机制-滑动时间窗口、会话窗口-基于时间驱动&基于事件驱动
永远好奇，无限进步！
09-05 812
滑动窗口是固定窗口更广义的一种形式，滑动窗口由固定的窗口长度和滑动间隔组成。Flink 的滑动时间窗口（Sliding Window）是一种常用的窗口机制，适用于处理流式数据时需要在时间范围内定期计算的场景。滑动窗口会按照指定的窗口大小（window size）和滑动步长（slide interval）不断地划分数据，并对每个窗口内的数据进行聚合计算。窗口长度固定，可以有重叠。场景：我们可以每30秒计算一次最近一分钟用户购买的商品数 基于事件驱动 会话窗口 由一系列事件组合一个指
Elasticsearch分布式搜索引擎的设计理念
"这篇分享来自Elasticsearch的创始人Shay Banon，主要探讨了Elasticsearch的设计思路，包括其分布式、近实时搜索引擎的核心概念，以及与Lucene的关系。" 在深入Elasticsearch的设计之前，首先需要理解其基础——...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值