ElasticSearch
文章平均质量分 69
Relian哈哈
分享知识和分享苹果是不一样的,苹果会越分越少,而知识并不会因为分享而减少,知识的分享更能激荡出不一样的火花
展开
-
解决Elasticsearch Connection reset by peer异常
随着ES的密集使用,线上环境,不同应用最近几天陆续有报java.io.IOException: Connection reset by peer异常,感觉不太正常。直接影响就是用户查询或者变更ES数据失败。原创 2022-12-08 14:59:56 · 7342 阅读 · 2 评论 -
ElasticSearch常见避坑指南
在es中query查询如果不指定from-size值,es默认from=0,size=10,默认一次查询10条数据如下查询语句,11个唯一id查询,如果不指定from,size,只返回10条数据,而不是11条所以正确的查询是加上from=0,size=11,即指定预期的size。原创 2022-11-27 01:08:07 · 4028 阅读 · 0 评论 -
Elasticsearch之join关联查询
Elasticsearch提供了类似于SQL JOIN的关联查询,通过has_child/has_parent可以实现一对多关系的父子表数据查询。但是其损耗也是比较大的,在使用的时候要根据分片数量的多少和预估数量量级的大小,提前做好性能测试原创 2022-11-19 22:48:10 · 15290 阅读 · 3 评论 -
Elasticsearch按某个字段去重-实现group by效果
Elasticsearch按某个字段去重-实现group by或distinct效果原创 2022-10-20 01:53:58 · 2669 阅读 · 1 评论 -
Elasticsearch查询must与should不能同层级使用
当must下的条件都满足的时候,查询结果发现没有满足should下的任何一个条件的数据也包含在结果集内,should好像最小匹配了,变得可有可无了,should失效了。这显然不是我们想要的查询结果。显然must和should不能在同一个层级使用,should必须放在must的内层且用bool包括起来。也就是一山不容二虎,要么去掉,要么被收编。must和should同时使用,如下例子。原创 2022-10-18 01:03:53 · 2852 阅读 · 1 评论 -
ElasticSearch深浅分页查询及原理
假设有8分片,查询到第1000页数据,from =1000 size=100,es每次会从取出每个分片取1000*100+100=11w条数据,自然每个分片都会存储这11w条数据,然后再发给协调节点做排序后,而协调节点就是面临处理8*11w=88w条的巨大压力随着from页码的不断增加,es从每个分片获取的数据量也就越来越大,自然越来越慢,于es所在服务器和应用系统都带来不小压力,甚至出现内存溢出风险。因此es默认使用10000作为最大查询值,超过此值,推荐使用scroll游标来滚动查询。如果初次使用,不注原创 2022-06-27 02:43:14 · 3608 阅读 · 0 评论 -
Elasticsearch排序出现No mapping found for [limit_time] in order to sort on错误
一、问题描述今天用Elasticsearch做排序时候报如下错误:No mapping found for [limit_time] in order to sort on大概意思是按limit_time排序时找不到该字段的映射类型如下图所示,查询21个分片,15个成功,6个失败,这样肯定达不到排序目的二、解决方案既然找不到映射类型(和es索引下的field是共用有关),那我们就指定其映射类型就好,这里limit_time类型为keyword,在排序时加上"unmapped_..原创 2021-02-28 01:46:21 · 20223 阅读 · 2 评论 -
ElasticSearch的term多条件与terms多值查询
一次查询多个字段,每个字段对应一个值。如查询条件属性plan_id、sku_id,值分别为:11、121、json请求格式如下。原创 2021-01-31 23:39:14 · 19888 阅读 · 0 评论 -
Elasticsearch6.x聚合查询指定字段并去重
现有如下需求:从3.5亿左右的订单中查询商品各级类目,并且进行去重,由于各级类目编号不重复,可按末级类目编号去重3.5亿左右数据,15个分片,秒查出来,还可以Json请求如下:按item_last_cate_cd聚合去重,size返回多少条,includes返回指定字段{ "aggregations":{ "item_aggs":{ "terms":{ "field":"item_last_cate_cd.原创 2020-08-02 20:11:47 · 2583 阅读 · 0 评论 -
elasticsearch7常见查询(term、match、bool、filter、match)
一、精准查询termterm是代表完全匹配,即不进行分词器分析,文档中必须包含整个搜索的词汇1、term单值字段只有一个值时候,用term关键词查询查询biz_id值为1909190023901225的记录curl -XGET http://192.168.1.73:9200/xyerp/order/_search -H 'Content-Type: application/...原创 2019-10-29 00:44:32 · 29543 阅读 · 6 评论 -
elasticsearch的概念介绍和使用
一、Lucene简介1、简介Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎。业界流行的Elasticsearch和Solr都是在Lucene的基础上进行封装,实现了分布式搜索引擎。Lucene提供了一个简单却强大的...原创 2019-10-20 23:02:00 · 382 阅读 · 0 评论 -
elasticsearch-7.3.2集群搭建
一、简述1、es介绍ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口,Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。ElasticSearch应用广泛,常用用于大数据、云计算中,它包含如下特性:分布式高可用搜索引擎:每个索引...原创 2019-10-17 00:57:10 · 3756 阅读 · 0 评论