ES如何通过文档id获取正排信息

最新推荐文章于 2024-06-24 22:18:59 发布
最新推荐文章于 2024-06-24 22:18:59 发布
阅读量1.5k 收藏
点赞数 1
分类专栏： 云搜索进阶之路 文章标签： elasticsearch 正排 倒排 列式存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huangleijay/article/details/106734024
版权

前言

根据文档id定位到某个字段的正排信息，常常用于需要根据某个字段排序，分类计算，这个必须使用Doc values

 

正文

1： 在ES中原始数据是以行式存储的，也就是文档的所有字段都会连续的存储在物理空间上。

这样势必会占用非常多的空间，所以一般都是压缩存储的！

正排信息不是来自于原始文档中。存储原始文档的文件 如下

 

查看原始文档的过程！

第一步二分查找block，定位属于哪个block。 

　　第二步就是根据从block里根据每个chunk的起始文档号，找到属于哪个chunk和chunk位置。 

　　第三步就是去加载fdt的chunk，找到文档。

2： docvalues结构 @hxx 列式存储

在建倒排的时候，docvalues就会同时建好

正排的结构如下：

因为是列式存储，就是说所有文档的city会连续存储！其中city会用一些压缩技术，比如漂移量或者公约数来减少空间。

上面的结构列子，是city字段，如果是string的话，又不一样，在ES中叫做analyze string࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
huangleijay
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Elasticsearch按照id排序
荒的博客
01-31 8608
文档唯一标识由四个元数据字段组成： _id：文档的字符串 ID _type：文档的类型名 _index：文档所在的索引 _uid：_type和_id连接成的type#id 默认情况下，_uid是被保存（可取回）和索引（可搜索）的。_type字段被索引但是没有保存，_id和_index字段则既没有索引也没有储存，它们并不是真实存在的。Elasticsearch 使用_uid字段来...
ES使用_id排序导致集群CPU和内存都100%
duzm200542901104的专栏
04-18 2118
闲来无事开发了一个ES的客户端，然后在查询数据的时候，使用了_id排序，测试环境上面用起来也没啥事，可到了线上就跪了，线上数据量是1.4亿左右，直接没有给相应的反应时间，只要一查询，立马就宕机。 查询了ES的官网说明：_id字段被禁止在聚合、排序和脚本中使用。如果需要对_id字段进行排序或聚合，建议将_id字段的内容复制到doc_values的字段中。 为什么_id字段会导致内存占满呢？利用_id进行排序的时候，ES会把所有的_id字段都加载到fielddata cache里面，而不是像我们在MySQL
Elasticsearch 根据 _id 排序
qq_43613793的博客
12-05 2250
我这里有一个测试索引数据如下： 如果用普通的排序方法对_id中的数据进行排序的话： GET _search { "query": { "term": { "_index": "test" } }, "sort": { "_id": { "order": "asc" } }, "size": 20 } 因为_id的数据为字符串类型，因此排序出来的结果其实并不是我们想要的： { "took" : 5, "timed_out"
Elasticsearch 索引与文档操作实践指南
最新发布
qq_41934990的博客
06-24 668
上节我们部署了elasticsearch8.4.1和kibana8.4.1以及ik分词器，本节我们来学习下elasticsearch的相关索引，文档操作。首先我们kinana的主界面找到开发者工具在里面我们来编写相关操作。
关于ES的_id不能排序和聚合的误解
duzm200542901104的专栏
11-19 3108
在很多的博客里面都提到过ES的_id不能进行排序，必须使用_uid，这个提法已经过时了，通过实践可以得知，使用_id是可以排序的，并不会报错。 { "sort":[ { "_uid":{ "order":"desc" } } ] } _uid在ES的6.0.0版本已经被废弃了，为什么呢？因为在6.0版本以后，_type属性没有了，那么建立在_type之上的_...
【Elasticsearch】Elasticsearch中使用_id排序导致 data too large 问题
程序员作家
05-07 1421
ElasticSearch：从[FIELDDATA]Data too large
ElasticSearch学习文档.rar
03-21
Elasticsearch（ES）是一种基于 Lucene 的分布式、开源的全文搜索引擎，设计用于处理海量数据，具有实时分析、高可用性和可扩展性。它不仅是一个搜索引擎，还被广泛应用于日志分析、监控、安全分析等多个领域。本...
Python对ElasticSearch获取数据及操作
09-19
在本文中，我们将深入探讨如何使用Python与Elasticsearch进行交互，特别是针对数据的获取和操作。首先，我们需要了解Python中的Elasticsearch库，它是连接和操作Elasticsearch的主要工具。在提供的代码示例中，我们...
ElasticSearch RestHighLevelClient 关于索引库、文档的基础操作
11-20
3. **查询文档**：使用`get()`方法，根据索引库名和文档ID获取文档。例如： ```java GetRequest getRequest = new GetRequest("my_index", "1"); GetResponse response = client.get(getRequest, RequestOptions....
基于Elasticsearch Java API的参考手册
04-29
Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，广泛应用于大数据领域的实时分析和信息检索。Java API是Elasticsearch官方提供的与Elasticsearch服务器进行交互的主要工具，它使得开发者能够用Java...
ES -范围+精确+排序+固定字段返回
caesar_shf的博客
08-29 407
DSL语句 GET /idx_hippo_sku_statistics_index/sku_statistics_index/_search { "from" : 0, "size" : 100, "query" : { "bool" : { "must":[ { "range" : { "salePrice" : { "from" : 1.9, "to" : 2.1, "include_lower":
解决Elasticsearch按_id排序无法获取最大值
HardRedStone的博客
08-25 8166
最近做区块链浏览器，我把blockNumber作为了elasticsearch的文档_id，需要做一个查询操作，换成mysql查询就是 SELECT MAX(`_id`) FROM `block`; 对应的Kibana中的查询 GET /block/_search { "query": { "bool": { "must": [ {"match": { "transactionHandled": true }} ..
ES（三）：ES条件查询、排序
热门推荐
zhoushimiao1990的博客
03-04 1万+
首先向ES中插入几条数据： PUT index3 PUT index3/user1/1 { "name":"water.zhou", "birthday":"1996-6-6", "interest":"swimming climbing walking", "address":"ShanDong province", "company":"yunzhihui", "h...
ES排序
weixin_38932035的博客
04-26 7647
排序 为了按照相关性来排序，需要将相关性表示为一个数值。在 Elasticsearch 中， 相关性得分 由一个浮点数进行表示，并在搜索结果中通过 _score 参数返回， 默认排序是 _score 降序。 有时，相关性评分对你来说并没有意义。例如，下面的查询返回所有 user_id 字段包含 1 的结果： GET /_search { "query" : { "bool...
ElasticSearch之排序使用-ES常用排序方法
进击30K的专栏
09-11 7977
ElasticSearch之排序使用-ES常用排序方法 在搜索系统中，最常遇到的一个需求就是排序，同时排序也是搜索引擎需要改造最多的地方。 常见排序一般有如下两类： （1）按照相似度匹配得分排序 （2）按照指定字段排序 相似度得分排序是系统默认的排序方式，更多时候，我们需要按照指定字段排序。lucene中，基于字段内容的排序是由FieldComparator接口来实现的，在排序中又分为单字段排序和多字段排序。在排序速度方面，数值类型排序速度最快，在lucene中数值...
注意ES的默认排序和慎用_doc排序
houminZhang的博客
06-17 2184
这两天遇到了一个坑，就是ES的默认排序，对于我们有时候直接把ES当数据库来玩的时候，往往返回的结果的_score都是0, 而ES默认的排序，恰恰就是按 _score的desc。 那么，在全部doc的_score 都是0分的时候，分页就会错乱，有时候出现在第一页的结果很可能会重复出现在第二页，第三页 （取决于当时shards 返回的结果的顺序。 好了，有些人会觉得，为了提高性能，又不care排序的顺序的话，可能会立刻想到用_doc排序。包括我也是这么想的，那么结果告诉你，这也是会有问题的。 我们.
【Elasticsearch】【转】Elasticsearch中使用_id排序导致 data too large 问题
闲时不要多想
10-13 259
elasticsearch
ES-根据id查询
caesar_shf的博客
08-29 1万+
DSL语句： GET /idx_shop_sku_index/sku_index/1 解释说明： idx_shop_sku_index 索引名称 sku_index 类型 1 id值
请为我编写elasticsearch通过id列表获取记录的方法
07-08
当然，我可以为您提供一个基本的示例代码来通过ID列表从Elasticsearch中获取记录。您可以根据自己的需求进行适当的更改和优化。 ```python from elasticsearch import Elasticsearch def get_records_by_ids(index, ids): # 创建Elasticsearch客户端 es = Elasticsearch() # 构建查询体 body = { "query": { "ids": { "values": ids } } } # 发起搜索请求 response = es.search(index=index, body=body) # 提取搜索结果 records = response["hits"]["hits"] return records # 示例用法 index_name = "your_index_name" document_ids = ["id1", "id2", "id3"] # 替换为您的实际ID列表 results = get_records_by_ids(index=index_name, ids=document_ids) for result in results: print(result["_source"]) ``` 请注意，上述代码假设您已经安装了Python的Elasticsearch客户端库。您可以使用`pip install elasticsearch`命令进行安装。 此代码使用`elasticsearch`库连接到Elasticsearch服务，并使用IDs构建一个查询体。然后，它通过调用`es.search()`方法执行搜索请求，并从响应中提取搜索结果。最后，它将每个记录的源文档打印出来。 希望这可以帮助到您！如有任何疑问，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

huangleijay

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值