es 查询 多线程_ES系列终章索引的存储

最新推荐文章于 2024-06-27 01:03:14 发布
最新推荐文章于 2024-06-27 01:03:14 发布
阅读量914 收藏
点赞数
文章标签： es 查询 多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32506617/article/details/112106245
版权
本文介绍了Elasticsearch索引的存储结构，包括不变性、索引数据的写入（涉及translog）、segment的管理、索引数据的删除和更新过程。强调了segment数量过多对性能的影响以及merge机制的重要性。同时提到了translog在确保数据可靠性中的作用，以及删除和更新文档时如何处理。
摘要由CSDN通过智能技术生成

1a16962d2edf485ce03ac82b78da0a75.png

        哈喽大家好，不知不觉半年过去了，es也迎来了最终章。话不多说，开始整。

        今天的话，咱们一起聊聊索引的存储吧。对了，大家知道es是怎么分配文档写入哪个分片的吗？其实遵循的原理于之前聊过的map比较像的。

shard = hash(routing) % number_of_primary_shards

routing字段默认为id。

那索引的物理结构是什么样的呢？

Lucene有2种文件格式，是根据CompoundFile 来判断的。

CompoundFile == false

7e59f88de99a1444fa3a97a6b466b333.png

CompoundFile == true

最低0.47元/天 解锁文章
杀心成焚
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多线程查询ES返回结果
1943博客
11-26 2027
背景：现在人脸流水库有大概8W人脸数据需要提供给WEB组一个人脸检索接口（根据检索条件从ES中检索出相关数据 然后和传过来的人脸图片进行特征比对 筛选符合条件的数据 ）： 方案：根据上传的图片，已经相关查询条件： String place_id = json.getString("site_code"); float start_time = json.getFloatValue("sta...
多线程实现Callable数据查询
u011191463的专栏
07-04 1376
    当在做es查询时，需要通过terms进行查询，terms一次最多可以进行1000个值的查询，如果通过迭代去查询，单线程查询会比较耗时间，因此，采用分批，每一个批次放入一个线程，通过设置固定线程池去进行线程的调用，防止terms太多，分批次多造成线程数过多。经过这样，可以有效的提升查询性能。其他相似场景亦可。 定义线程类： /** * @Author: MR LIS * @Desc...
线程互斥与同步 在c#中用mutex类实现线程的互斥_.Net线程同步技术解读
weixin_40001805的博客
11-23 210
C#开发者(面试者)都会遇到lock(Monitor)，Mutex，Semaphore，SemaphoreSlim这四个与锁相关的C#类型，本文期望以最简洁明了的方式阐述四种对象的区别。什么是线程安全教条式理解如果代码在多线程环境中运行的结果与单线程运行结果一样，其他变量值也和预期是一样的，那么线程就是安全的；结合场景理解两个线程都为集合增加元素，我们错误的理解即使是多线程也总有先后顺序吧，集合的...
ElasticSearch索引架构与存储
最新发布
weixin_41866717的博客
06-27 1231
本文介绍了ES索引的存储架构和数据结构。
ES索引存储原理
热门推荐
guoyuguang0的专栏
08-06 3万+
ES索引存储原理不变性写到磁盘的倒序索引是不变的：自从写到磁盘就再也不变。 这会有很多好处： 不需要添加锁。不存在写操作，因此不存在多线程更改数据。 提高读性能。一旦索引被内核的文件系统做了Cache，绝大多数的读操作会直接从内存而不需要经过磁盘。 提升其他缓存（例如fiter cache）的性能。其他的缓存在该索引的生命周期内保持有效，减少磁盘I/O和计算消耗。 当然，索引
多线程查询
我思故我在，有我更精彩
05-13 1301
实现多线程同步查询的基本思想是，为每一个查询组件（如TQuery组件）创建一个独占的 数据库会话，然后各自进行数据库访问。需要特别注意的是，因为Delphi中的 VCL组件大多都 不是线程安全的，所以应当在线程查询结束后再将DataSource组件与查询组件关联，从而显示 在DBGrid组件中。 下面的例子只实现了静态的线程同步查询，即线程对象是固定的，并随窗体的创建和销毁 而创建和销毁。
es 创建索引 指定id_Elasticsearch创建索引流程
weixin_34677884的博客
12-30 1660
前言说明：本文章使用的ES版本是：6.7.0由此可知，在ES启动过程中，创建Node对象(new Node(environment))时，初始化了RestHandler，由其名字可以知道这是用来处理Rest请求的。在ES源码中，RestHandlerAction如下图：其中：admincluster：处理集群相关请求indices：处理索引相关请求cat：日常查询document：文档处理inge...
Java查询es很慢怎么办_elasticsearch索引和搜索慢问题分析解决
weixin_35680189的博客
03-02 2559
简述Elasticsearch是一个分布式的免费开源搜索和分析引擎，能够实现近实时的数据搜索。在使用的过程中，由于各种原因可能导致集群写入或者查询缓慢，本文主要讲述集中常见的原因和解决方法。写入拒绝或者慢现象当像索引(存储和使文档可被搜索)或者搜索数据的时候会出现类似如下429状态码的报错:"status": 429, "error": {"type": "es_rejected_executio...
es搜索 核心指标_Elasticsearch学习笔记之Prometheus监控ElasticSearch核心指标
weixin_34544309的博客
01-14 1068
0x00 概述Prometheus通过expoeter监控Elasticsearch集群，比传统的APM或者zabbix监控更加深入；配合exporter可已经详细监控这个es集群的信息。本文主要讲述使用 Prometheus监控ES，梳理核心监控指标并构建 Dashboard ，当集群有异常或者节点发生故障时，可以根据性能图表以高效率的方式进行问题诊断，再对核心指标筛选添加告警。Elastics...
es创建索引数量多了好还是少了好_ElasticSearch优化系列七：优化建议
weixin_42306083的博客
12-23 827
尽量运行在Sun/Oracle JDK1.7以上环境中，低版本的jdk容易出现莫名的bug，ES性能体现在在分布式计算中，一个节点是不足以测试出其性能，一个生产系统至少在三个节点以上。ES集群节点规划良好，master、node、client分离开来，data节点关闭http功能。合理利用内存。a) JVM内存设置不要超过机器的一半内存，并且不超过32G。(./bin/elasticsearch ...
es创建索引数量多了好还是少了好_Elasticsearch索引和查询性能调优的21条建议
weixin_39785970的博客
12-23 1898
Elasticsearch部署建议1. 选择合理的硬件配置：尽可能使用 SSDElasticsearch 最大的瓶颈往往是磁盘读写性能，尤其是随机读取性能。使用SSD(PCI-E接口SSD卡/SATA接口SSD盘)通常比机械硬盘(SATA盘/SAS盘)查询速度快5~10倍，写入性能提升不明显。对于文档检索类查询性能要求较高的场景，建议考虑 SSD 作为存储，同时按照 1:10 的比例配置内存和硬盘...
es搜索大量多个索引
xyhshen的博客
07-24 4238
最近碰上一个麻烦的问题，要搜索多个索引，查了查资料，下面这些是比较常见的： /index1,index2/_search /*1,*2/_search /index*/_search /all/_search 另外还有别名搜索，全部取一个别名 但是我这问题有点不同，我要搜索的索引特别多，而且还没有规律可循，既不能用别名，索引太多又不能全堆到url里，毕竟url长度有限 这里找到了一个通过multi search方式解决的思路，可以把索引名字放到body里 multi search不用_search而是_m
es存储结构
weixin_45929868的博客
02-24 1076
多线程批量写入ES工具
1943博客
05-08 2346
业务背景： 读取本地大文件，或者读取ES的文件 进行业务处理 将结果存入ES BlukUtil工具 import com.zrt.govername.waimai.BlukTask; import org.apache.log4j.Logger; import java.util.ArrayList; import java.util.List; import java.util.Map; import java.util.concurrent.*; /** * @Classname B..
es 查看线程池
yun0000000的博客
05-25 5847
1、查看线程状态 _cat/thread_pool/ 2、查看线程状态 _nodes/thread_pool/
ElasticSearch 索引的存储机制推演
GeekArtT的专栏
04-15 225
ElasticSearch 作为开源的搜索引擎，需要依赖的一个重要数据结构就是 inverted index（倒排索引）。inverted index 通常庞大、且建立过程相当耗时，于是，如何存储 inverted index 就变成了一件极为要紧的事情。 显然，inverted index 不能简单地被放在 memory 中，它还必须做对应的持久化，让这些已经建立的 inverted index 可以被复用。ElasticSearch 是基于 Lucene 来构建的，在 Lucene 的世界里，inver
线程池的使用场景--采集es数据
TreeCode的博客
06-25 303
场景： 从ElasticSearch的多个index中持续增量采集数据 初步解决方案： 因为search_after本身可以采集多index，所以使用search_after直接采集数据 遇到的问题： search_after采集多个index有限制，要么明确指定多个index的具体名称，要么使用*通配符，这两种方式中，前者太刻板，每次执行采集任务都需要手动输入很多index名称，后者不灵活，会匹配到用户不愿意或者不需要采集的index。 解决方案优化 使用正则表达式匹配index 使用search_af
es 多索引联合查询,在Elasticsearch 7.7版中跨多个索引查询
weixin_29928877的博客
12-20 4591
In elastic search version 7.7, multiple _types in the index is removed,Now If we want to query across multiple index, we are doing in the following way./index1,index2/_search?q=type:tweetIn 7.7, what ...
es多线程分组分页查询
11-28
根据提供的引用内容，没有找到关于ES多线程分组分页查询的信息。不过，ES支持多线程查询和分组分页查询，可以分别介绍一下。 1. ES多线程查询 ES支持多线程查询，可以通过设置线程池来控制并发查询的数量。以下是一个使用Python Elasticsearch库进行多线程查询的例子： ```python from elasticsearch import Elasticsearch from elasticsearch.helpers import parallel_bulk from multiprocessing import Pool es = Elasticsearch() def process_data(data): # 处理数据的函数 pass def index_data(data): # 索引数据的函数 pass def run_query(query): # 运行查询的函数 pass def run_parallel_bulk(data): with Pool(processes=4) as pool: for success, info in parallel_bulk(es, data, index='my-index', chunk_size=1000, thread_count=4): if not success: print('A document failed:', info) ``` 在上面的例子中，我们使用了Python的multiprocessing库来创建一个进程池，然后使用Elasticsearch的parallel_bulk函数来并发地索引数据。 2. ES分组分页查询 ES支持分组分页查询，可以使用Elasticsearch的search方法来实现。以下是一个使用Python Elasticsearch库进行分组分页查询的例子： ```python from elasticsearch import Elasticsearch es = Elasticsearch() def search_data(): query = { "size": 0, "aggs": { "group_by_field": { "terms": { "field": "my_field", "size": 10 }, "aggs": { "group_by_date": { "date_histogram": { "field": "my_date_field", "interval": "day" }, "aggs": { "sum_by_field": { "sum": { "field": "my_sum_field" } } } } } } } } res = es.search(index="my-index", body=query) return res ``` 在上面的例子中，我们使用了Elasticsearch的聚合功能来进行分组分页查询。我们首先按照my_field字段进行分组，然后按照my_date_field字段进行日期直方图聚合，最后对my_sum_field字段进行求和聚合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值