ElasticSearch 批量查询

最新推荐文章于 2024-05-09 15:47:52 发布
最新推荐文章于 2024-05-09 15:47:52 发布
阅读量2k 收藏
点赞数 1
分类专栏： java 文章标签： elasticsearch 大数据 搜索引擎 运维 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66557301/article/details/126659822
版权

一、背景:

最近部门业务调整，开始写一些后端接口，初次接触项目时，了解项目后端语音使用的Python，数据库使用的是es。

二、需求:

因为是刚接触这个项目，领导分了一个比较简单的需求让熟悉下项目，大致内容就是写一个批量查询的API，根据前端传过来的Id和Name列表，批量从ES数据库中查询对应的数据。

三、ES数据库

之前ES接触的很少，所以对于ES的语法还不熟悉，不过所幸国内有万能的百度，大致写的是使用ES的mget 函数来查询，当Type和index一致的情况时，语法大致内容如下，使用参数 ids：[11,12] 即可进行查询，如下图所示：

但是mget这种查询只支持id，根据name无法查询，后来了解到es还有个函数terms，terms 也是一个查询函数，支持单个数据查询和批量查询，单数据查询时，只需要传一个字符串就好，批量查询时，v传 list列表即可。

，

m0_66557301
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch｜ES 快速批量查询 doc 的 _id 的方法
长行
01-01 3085
Elasticsearch 批量查询 doc id 的方法
ES常用查询操作学习总结（13种）
清晨的博客
08-19 8973
ES常用查询操作学习总结（13种）
Java整合Elasticsearch相关查询操作
最新发布
qq_44082755的博客
05-09 293
在测试方法执行之前初始化一个EsClient的实例，并将其赋值给client变量。使用@Before注解标识该方法，确保它在所有@Test注解的方法执行之前运行。通过调用EsClient类的getClient()方法获取EsClient实例，为后续的测试提供必要的客户端对象。执行后可以进入kibana查看添加的文档,可以看到我们刚添加的书本信息数据。执行后可以进入kibana查看修改的文档,可以看到我们刚修改的书本信息数据。可以看到文档的内容已经被修改成功。执行后可看到数据已经被删除。
elasticsearch数据批量查询和备份方案
iqifenxia的博客
11-04 1627
1. mget和size es默认每次查询结果是返回十条数据，也可以通过size的方式设置更多条 { "query": { "bool": { "must": [ { "match": { "entname": "华为技术华为技术有限公司" } } ] } }, "size":20 } 当size设置大于10000时查询会返回异常： 错误提示："r
一起学Elasticsearch系列-索引的批量操作
BookSea的博客
01-01 1019
Elasticsearch 提供了 _mget 和 _bulk API 来执行批量操作，它允许你在单个 HTTP 请求中进行多个索引获取/删除/更新/创建操作。这种方法比发送大量的单个请求更有效率
Elasticsearch(036)：es中批量操作之mget(批量查询)
瘦子没有夏天
10-22 5057
mget(批量查询) 一、介绍 mget是es提供的一种批量的读取操作的API。 mget API允许根据索引，类型（可选）和id（以及可能的路由）获取多个文档。响应包括一个docs数组。该数组具有与原始多重获取请求相对应的所有提取文档（如果特定的get失败，则在响应中包含包含此错误的对象）。成功获取的结构与get API提供的文档的结构相似。 二、示例用法 2.1 测试数据准备 示例索引结构如下 PUT example PUT example/docs/_mapping { "properties"
基于Spring Batch向Elasticsearch批量导入数据示例
08-27
基于Spring Batch向Elasticsearch批量导入数据示例 本文介绍了基于Spring Batch向Elasticsearch批量导入数据示例，旨在解决大规模数据从数据库导入Elasticsearch时的效率问题。Spring Batch框架使用ItemReader分页...
elasticsearch进行批量插入的时候总是少数据
01-07
两张mysql数据库的表，需要把两张表的数据取共同字段，合并并导入es中，其中a表共有数据1000条，b表共有数据1200条，a表和b表的主键id都是从1开始递增的，结果导入的时候显示成功导入2200条数据，而实际查询的时候却...
批量写入数据到Elasticsearch
01-30
es 批量写入数据到Elasticsearch
python3实现elasticsearch批量更新数据
01-20
废话不多说，直接上代码！ updateBody = { query:{ range:{ write_date: { gte: 2019-01-15 12:30:17, lte: now } } }, script: { inline: ctx._source.index = params.index, params: { ...}
ElasticsearchBulkOperation:Elasticsearch批量操作
05-12
ElasticsearchBulkOperation Elasticsearch批量操作#configuration-elasticsearch.yml cluster.name：stackoverflowcluster node.name：stackoverflownode node.rack：stackoverflowrack path.data：./../data/...
es批量查询
热门推荐
congge
07-02 1万+
在es中查询数据，可以根据id或者其他的字段名称单条查询，比如像像下面的这样，通过id查询， 根据其他的字段名称进行查询道理也是如此，在上一篇中我们已经简单使用过，但在实际应用中，比如我们要查询某个索引某个type下面的数据，假如提前知道这个type里面的相关字段的数据，就可以通过_mget的方式进行批量查询数据，批量查询的好处不用多说大家也明白，减少网络请求，提升查询效率和性能，下面来看看如何...
Elasticsearch 查询和聚合查询：基本语法和统计数量
技术广场
06-21 4297
Elasticsearch是一个强大的分布式搜索和分析引擎，提供了丰富的查询和聚合功能。本文将介绍Elasticsearch的基本查询语法，包括预发查询和聚合查询，以及如何使用聚合功能统计数量。
迭代器模式 实现ES大量数据查询
法毅的博客
01-02 1792
数据从Mysql 迁移到 Es, Es查询数据默认fetch Size最大为10000条，如果查询超过1万条，需要通过scroll形式进行查询。
ElasticSearch~查询操作~(简单查询、批量查询、匹配查询、模糊查询、精确查询、范围查询、通配符查询、must查询、should查询、过滤查询）
feizuiku0116的博客
02-25 4572
一、简单查询 一、查询所有结果 GET /student_info/_search { "query": {"match_all": {}} } 二、根据条件查询 GET /student_info/_search { "query":{ "match":{ "name":"张三" } } } 三、排序 GET /student_info/_search { "query":{ "match":{ "name":"张三" } }
如何使用elasticsearch对text类型字段进行精准搜索呢？
悟已往之不谏，知来者之可追
09-18 6064
match 查询是否可行 对一个es中的text类型的字段进行精准搜索，可谓有点棘手。最初级的方式就是建立改字段的时候指定属性unanalysed,也就是不分析，那不分析当然可以精准搜了。但是这样一来，搜索除非精准，否则大部分都是无结果。 使用match查询，有几率可以将精准搜结果召回，但是不保证100%。 curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d' { "query": {
Elasticsearch--javaAPI批量操作
lucasmaluping的专栏
11-07 935
1、批量查询 @Test public void testMultiSearch() { MultiGetResponse mgResponse = client.prepareMultiGet() .add("index1","blog","1","2") .add("my-index","persion",...
java 批量查询es_java操作ES的简单查询和bool查询
weixin_39831567的博客
02-24 1413
导入包org.elasticsearch.clienttransport5.2.2org.apache.logging.log4jlog4j-api2.7org.apache.logging.log4jlog4j-core2.7junitjunitRELEASEView Code2.Java操作基本操作通过client客户端对象获得客户端然后通过preparIndex等方法传入index,type...
ElasticSearch 7.3 实战：结合Spring boot进行增删改查和批量(bulk)详解
qq_33240556的博客
03-26 295
创建一个代表Elasticsearch文档的Java实体类，并使用@Document// ... 其他属性，构造函数，getter/setter }// ... 其他属性，构造函数，getter/setter }// ... 其他属性，构造函数，getter/setter }// ... 其他属性，构造函数，getter/setter }Id;import org// ... 其他属性，构造函数，getter/setter }
es数据查询全部数据,数据量过大
09-17
当ES中的数据量过大时，查询全部数据可能会面临一些挑战和限制。 首先，大规模数据的查询可能导致响应时间延长。由于ES是一个分布式搜索和分析引擎，查询大量数据可能需要耗费更多的时间来处理和返回结果。因此，当数据量过大时，我们需要对查询的执行时间有所准备，并根据需求决定是否需要优化查询的性能。 其次，对于大规模数据的查询，我们需要考虑网络传输和存储的压力。大量数据的传输可能会占用更多的带宽和网络资源，特别是在分布式集群的情况下。同时，ES需要足够的存储空间来保存大规模数据的索引和文档。 为了应对数据量过大的情况，我们可以采取一些策略来优化查询的性能。首先，可以使用分页的方式进行查询，每次只查询部分数据，以减少查询时间和资源消耗。其次，我们可以根据查询的需求，使用过滤器筛选出符合条件的数据，从而减少需要处理的数据量。此外，可以考虑合理的索引设计和使用适当的查询DSL语句来提高查询效率。 最后，如果数据量过大，ES提供了与其他工具集成的功能，如Hadoop和Spark等，可以通过它们来处理大规模数据的查询和分析。这些工具在分布式计算和数据处理方面具有较强的能力，能够更好地处理大量数据的查询需求。 综上所述，当ES中的数据量过大时，查询全部数据可能会面临一些挑战和限制。通过优化查询策略、设计合理的索引、使用适当的查询DSL语句，以及利用其他工具进行分布式数据处理，我们可以应对大规模数据查询的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值