20200407-elasticsearch查询条件与结果不一致问题处理

最新推荐文章于 2024-07-14 21:00:29 发布
最新推荐文章于 2024-07-14 21:00:29 发布
阅读量403 收藏
点赞数
分类专栏： ElasticSearch BUG记录 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011439259/article/details/120366841
版权

问题描述：

项目使用ELK做为日志系统，同个postman查询时与期望结果不一致。
在这里插入图片描述
在这里插入图片描述

原因分析：

通过查看索引的_mapping看到job_id的数据类型是text，那他就会被分词。
keyword：存储数据时候，不会分词建立索引
text：存储数据时候，会自动分词，并生成索引

最低0.47元/天 解锁文章
DropOfJupiter
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch学习笔记——三 java代码与kibana dsl查询es索引数据
White
04-29 637
查询逻辑： serialnumber为1232041022或者 1453544213 或者1100422310 并且 appeartime在[1619366427001,1619366553000]之间。数据按照appeartime倒序排列。然后取出0~9号数据（分页0号页码，10个） 即 (serialnumber=‘1232041022’||serialnumber='1453544213 '||serialnumber='1100422310 ') && (appeartime.gte
关于elasticsearch搜索不精确问题
Silence的专栏
01-17 8178
今天有个同事在使用elasticsearch搜索“李四”的时候，跟我说搜索不准切，为什么在username字段里出现“李四君”的排前面，而“李四”的排在后面呢，我也觉得奇怪，按照lucene的评分公式，的确应该是“李四”评分最高。         后来使用elasticsearch的explain功能对每个hit评分的详细情况进行分析，结果发现，“李四君”所在hit的maxDocs=6，而其他的
Elasticsearch相同两次搜索出现不一样的结果
不见其长，日有所长
11-20 2187
1. 原因 主要的原因是因为有副本(replica)的存在，主分片和副本分片可能不一致，导致最终在主分片和副本分片上计算得到的得分不同，而导致最终的查询结果不一致。 但是是如何造成主分片和副本分片不一致的情况，可能是因为用户删除了部分文档，之后主分片进行了merge， 而副本分片没有进行merge。 这种情况下主分片和副本分片上的总文档数量就会不同，打分时计算出的IDF的值不同，最终得到了不同的得分。 2. 解决办法 解决方式就是在查询时指定preference, 可以指定为_primary、_replic
elasticsearch 每次查询结果不一样
m0_67392126的博客
04-18 3888
这种情况一般都是出现在集群中，目前已知会有两种可能： 1.就是主副分片的数据不一致，es 查询默认情况下会随机选择分片或者其副本，所以导致同样的查询结果不一致。此情况产生的原因复杂，默认情况下，写入数据时，会先写入主分片，主分片成功后，再并发写入副本分片，当所有副本分片成功后，才会返回成功。所以要找出数据不一致的原因并解决，这种情况我没遇到过。 2.我遇到的是第二种情况，因为我的集群中的两个节点的 ik 配置不一致导致了这种结果，所以要保证各节点的 es 和插件的配置一致。 ...
elasticsearch相同两次搜索出现不一样的结果
qq_24223291的博客
11-05 7668
集群情况下，elasticsearch出现前后两次搜索结果不一致的原因是：两次查询并不是同一分片进行处理的。 在我们理解中，同样是4号分片，主分片和副分片数据都是一致。但是当分别用这两个分片去查时，就会发现搜索结果不一致，_score不一样。在官方文档中，提到分片中存在标记为已删除的文档，这些文档只有在下一次旧文档所属的段合并时才会从磁盘中删除。但是出于实际原因，这些已删除的文档会被考虑用于索引...
elasticsearch相同查询条件每次返回结果不一样
zhangjiaxx的博客
05-05 1086
这是master选举的规则，我们这个集群是局部业务的小集群，数据量很少，只有两个节点；es写数据的流程是先写主片然后主片同步给副本，主片和副本是分布在不同的节点。我们是按周区分索引的，数据量不大，去掉时间条件执行查询发现会交替出现 命中21980和命中的8999结果；因为es查询每次是随机选择主片和副本的数据返回，所以会出现每次查询结果不一样的问题；5.继续判断前几天的日志，发现有一个一个WARN 日志，节点之间的通信超过30s，1.首先简单查询其他的表或者其他的集群有没有类似的问题，排除大环境问题；
MySQL 与 Elasticsearch 数据不对称问题解决办法
09-09
通过以上方法，我们可以有效地解决MySQL与Elasticsearch之间的数据不对称问题，保持两者之间的数据一致性。需要注意的是，不同业务场景可能需要不同的解决方案，因此在实际应用中，应根据具体需求选择最适合的策略。
rom-elasticsearch:用于rom-rb的Elasticsearch适配器
05-02
4. **事务支持**: 虽然Elasticsearch本身不支持ACID事务，但rom-elasticsearch可能提供了一种方法来模拟事务行为，以确保数据一致性。 5. **兼容性**: 适配器支持MRI（Matz's Ruby Interpreter）2.5及更高版本，...
03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
01-08
在IT领域，尤其是在大数据分析和实时检索的场景中，Elasticsearch（ES）因其高效、灵活的特性，已经成为一种广泛使用的工具。本文将深入探讨在处理大宽表应用中的实践案例，以及面临的挑战和解决方案。 首先，我们...
PyPI 官网下载 | tableschema-elasticsearch-0.3.0.tar.gz
02-02
《PyPI官网下载：tableschema-elasticsearch-0.3.0.tar.gz——探索Elasticsearch与大数据集成的魅力》 PyPI（Python Package Index）是Python开发者的重要资源库，提供了丰富的第三方模块供用户下载使用。在本次...
Elasticsearch实战与原理解析 源代码.zip
06-06
例如，你可能会看到如何使用Java API或者curl命令来与Elasticsearch交互，创建索引并插入文档，或者执行复杂的聚合查询。 在实战部分，你可能会学习到如何处理实时数据流，比如日志分析或者实时监控。Elasticsearch...
ELK 查看
一条大河
11-16 699
CASE1： 查看ES中有哪些索引 //command: GET /_cat/indices //return green open .kibana_7.15.1_001 xcU1uNbVS-eb2HI-79NT9A 1 0 66 48 2.4mb 2.4mb green open .security-7 RHOq3AFWQ3y8-GB7EM1xRQ 1 0 57 0 247kb 247kb yellow op
Elasticsearch 通过kibana查询与API查询结果不一致
loveuserzzz的专栏
04-15 997
Elasticsearch 通过kibana查询的结果与sdk查询的结果不同问题分析，SearchType
什么是ElasticSearch的倒排索引
m0_60579941的博客
01-24 2292
ElasticSearch什么是倒排索引
实习踩坑之路：ElasticSearch搜索出来了不是自己的数据？Elastic会像MyBatisPlus一样会帮我们做判断null的操作么？分片精确度如何控制？
萌新Java工程师
12-11 2062
ES有延迟怎么优化？ES查询到别的数据怎么排查错误？ES聚合查询精确度又是如何控制的？
SpringData ES中字段名和索引中的列名字不一致导致的无法查询数据的解决方法
weixin_34257076的博客
04-03 2194
为什么80%的码农都做不了架构师？>>> ...
ES中Root mapping definition has unsupported parameters解决方案
最新发布
MADAO的博客
07-14 457
ES中Root mapping definition has unsupported parameters解决方案
elasticsearch 多索引联合查询
09-23
### 回答1： 要实现 Elasticsearch 多索引联合查询，可以使用 Elasticsearch 的多索引查询功能。具体来说，可以使用 Elasticsearch 的 Multi-Search API 进行多个查询操作，然后将结果合并起来返回给用户。 以下是一个简单的示例代码，假设有两个索引 index1 和 index2，需要联合查询： ``` POST /_msearch {} {"index": "index1"} {"query": {"match_all": {}}} {} {"index": "index2"} {"query": {"match_all": {}}} ``` 上述代码中，`_msearch` 是 Multi-Search API，`index1` 和 `index2` 是要查询的两个索引，`match_all` 是一个简单的查询语句，表示匹配所有文档。查询结果会按照查询顺序依次返回，需要自行解析和处理。 需要注意的是，多索引联合查询可能会带来一些性能问题，特别是在大数据量场景下。因此，需要根据实际情况进行权衡和优化。 ### 回答2： Elasticsearch是一个分布式搜索引擎，可以用于存储、搜索和分析大规模的数据集合。在Elasticsearch中，我们可以使用多索引联合查询来实现对多个索引中的数据进行查询和分析。 多索引联合查询在Elasticsearch中非常常见和重要。当我们有多个索引，每个索引包含不同类型或字段的数据时，我们可以使用多索引联合查询来同时搜索这些索引，并获取跨多个索引的结果。 使用多索引联合查询的步骤如下： 1. 创建索引：首先，我们需要创建多个索引，并将不同类型或字段的数据分别存储在这些索引中。 2. 查询语句：在进行多索引联合查询之前，我们需要构建一个查询语句。查询语句可以使用Elasticsearch提供的查询DSL（Domain Specific Language）来编写，通过指定不同的索引名称、查询条件和过滤条件来实现。 3. 查询执行：一旦查询语句准备好，我们可以将其发送到Elasticsearch服务器进行查询执行。Elasticsearch会同时搜索多个索引，并返回跨多个索引的结果。 4. 结果处理：最后，我们可以对查询结果进行处理和分析。可以根据需要，对结果进行排序、筛选、聚合等操作。 多索引联合查询在实际的应用场景中非常有用。例如，当我们的数据被分散存储在不同的索引中，需要同时查询和分析这些数据时，我们可以使用多索引联合查询来快速获取所需的结果。 总结而言，Elasticsearch提供了多索引联合查询的功能，可以方便地搜索和分析跨多个索引的数据。通过构建查询语句、执行查询并处理结果，我们可以快速获取我们所需的数据。 ### 回答3： Elasticsearch是一种开源的分布式搜索引擎，它可用于实现全文搜索、日志分析、数据可视化和实时数据分析等功能。在Elasticsearch中，可以通过多索引联合查询来同时搜索多个索引并获取结果。 多索引联合查询可以通过以下几种方式实现： 1. 使用多个索引名称：可以在查询语句中指定多个索引名称，用逗号分隔。例如，可以使用以下语句同时查询index1和index2两个索引： GET index1,index2/_search { "query": { "match": { "field": "value" } } } 2. 使用通配符查询多个索引：可以使用通配符在查询语句中匹配多个索引名称。例如，可以使用以下语句查询所有以"index"开头的索引： GET index*/_search { "query": { "match": { "field": "value" } } } 3. 使用别名查询多个索引：在创建索引时，可以为索引设置一个别名，然后在查询中使用别名来查询多个索引。例如，可以使用以下语句创建两个索引并为它们设置别名： PUT index1/_alias/myalias PUT index2/_alias/myalias 然后，可以使用以下语句查询myalias别名所对应的索引： GET myalias/_search { "query": { "match": { "field": "value" } } } 多索引联合查询可以帮助我们在一个请求中同时搜索多个索引，提高查询效率和性能。在进行多索引联合查询时，需要注意索引之间的数据结构和映射是否一致，以保证查询结果的准确性和一致性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值