ElasticSearch
文章平均质量分 77
ElasticSearch学习
一户董
专注后端技术分享!!!
展开
-
ElasticSearch之系列
todo。原创 2024-01-18 15:12:44 · 707 阅读 · 0 评论 -
ElasticSearch之优化篇
任何工具,学会用只是第一步,更重要的一步要用好,那如何才能用好呢?答案就是要懂得其工作的原理,对其进行行之有效的优化。我们就从数据建模开始吧!原创 2024-03-25 09:55:21 · 246 阅读 · 1 评论 -
ElasticSearch之数据建模
数据建模是对真实数据的一种抽象,最终映射为计算机形式的表现。1:概念模型2:逻辑模型3:数据模型。原创 2024-03-22 17:09:00 · 1447 阅读 · 0 评论 -
ElasticSearch之Ingest Pipeline和Painless Script
如果是我们需要在写入文档或者是返回文档时,进行修改字段值,或者增加字段等操作时,就可以考虑使用ingest pipeline和painless script。原创 2024-03-21 14:00:33 · 692 阅读 · 0 评论 -
ElasticSearch之通过update_by_query和_reindex重建索引
当我们索引的mapping,setting发生变更时,我们需要重建索引来使得这些变更生效。我们通过具体实例来分别看下。原创 2024-03-15 14:32:43 · 1081 阅读 · 0 评论 -
ElasticSearch之父子文档
mapping格式:"关联属性的名称": {"父文档的名称": "子文档的名称"索引父文档格式:PUT 索引名称/_doc/文档id"普通属性1": “普通属性值1”,"普通属性2": “普通属性值2”,"关联属性名称":{"name": "父文档名称"索引子文档格式:PUT 索引名称/_doc/文档id"普通属性1": “普通属性值1”,"普通属性2": “普通属性值2”,"关联属性名称":{”parent“: "关联的父文档id""name": "子文档名称"原创 2024-03-15 10:56:53 · 676 阅读 · 0 评论 -
ElasticSearch之Nested对象
本文看下es的nested嵌套对象相关内容。原创 2024-03-14 14:47:55 · 1296 阅读 · 0 评论 -
ElasticSearch之聚合原理以及精准度分析
本文看下es聚合的原理,以及精准度相关的问题。原创 2024-03-13 19:04:48 · 1266 阅读 · 0 评论 -
ElasticSearch之并发操作处理
并发控制,一般有两种方案,悲观锁和乐观锁,其中悲观锁是默认每次更新操作肯定会冲突,所以每次操作都要先获取锁,操作完毕再释放锁,适用于写比较多的场景。而乐观锁是默认每次更新操作都不会冲突,所以在更新前和更新后都不需要获取锁和释放锁的操作,所以效率更高,适合于读多写少的场景中。在es中采用的是乐观锁机制,这也很好理解,因为es的定位是一个搜索引擎,所以一般是应用于读多写少的场景中。原创 2024-03-07 14:22:14 · 1140 阅读 · 0 评论 -
ElasticSearch之通过search after和scroll解决深度分页问题
通过from,size来进行分页查询时,如下:当from比较大时会有深度分页问题,问题产生的核心是coordinate node需要从每个分片中获取from+size条数据,当from比较大,整体需要获取的数据量也会比较大,如下图:所以es深度分页问题的核心就在于每个分片多需要返回from+size条数据,所以,如果能解决这个问题,也就解决深度分页的问题了。但es针对from size方式的深度分页问题也是提供了一定的应对措施的,比如通过参数。原创 2024-03-07 10:27:09 · 1176 阅读 · 0 评论 -
ElasticSearch之排序,fielddata和docvalue
参考ElasticSearch之零碎知识点和一文带你彻底弄懂ES中的doc_values和fielddata。原创 2024-03-06 15:22:29 · 633 阅读 · 0 评论 -
ElasticSearch之分布式查询过程分析
本文一起看下es分布式查询的过程。原创 2024-03-05 16:18:09 · 1294 阅读 · 0 评论 -
ElasticSearch之分片相关概念segment,merge,refresh等
本文看下分片相关概念,segment,merge,refresh等。原创 2024-03-05 10:38:22 · 517 阅读 · 0 评论 -
ElasticSearch之文档的存储
本文看下文档的存储相关内容。原创 2024-03-04 11:56:00 · 539 阅读 · 0 评论 -
ElasticSearch之数据分片和故障转移
自动将宕机节点的分片信息(主分片primary shard,副本分片 replica shard)转移到正常节点,以正常的对外提供服务。原创 2024-03-04 10:38:50 · 1015 阅读 · 0 评论 -
ElasticSearch之分布式模型介绍,选主,脑裂
本文看下es分布式模型相关内容。原创 2024-03-01 14:57:31 · 1092 阅读 · 0 评论 -
ElasticSearch之跨集群搜索cross cluster search
本文看下跨集群搜索相关内容。原创 2024-02-29 18:04:09 · 587 阅读 · 0 评论 -
ElasticSearch之Completion Suggester
通过completion suggester可以实现如下的效果:其实就是做的like xxx%这种。通过FST这种数据结构来存储,实现快速的前缀匹配,并且可以将es所有的数据加载到内存中所以速度completion的查询速度非常快。需要注意,如果是某个字段想要使用completion suggester的功能,需要将其类型设置为completion,也就是我们需要显示的设置mapping来指定。原创 2024-02-29 14:32:29 · 586 阅读 · 0 评论 -
ElasticSearch之suggester API
当我们在使用搜索引擎进行的查询到时候,如果是输入错误的话,搜索引擎会给出一些搜索建议,如下:在es中也提供了类似的功能,叫做suggester API。原创 2024-02-28 17:45:58 · 667 阅读 · 0 评论 -
ElasticSearch之通过function score query优化评分
es在进行数据查询时,数据的返回顺序是由评分决定的,而默认的评分是采用的相关度评分,但在某些业务场景中如果是仅仅考虑相关度评分的话,无法满足需求,所以es提供了function score query来通过其他的方式来改变最终的评分,如下:本文一起来看下这部分相关的内容。原创 2024-02-28 12:07:20 · 1007 阅读 · 0 评论 -
ElasticSearch之Search Template和Index Alias
本文看下es的search template和index alias。原创 2024-02-27 17:26:49 · 579 阅读 · 0 评论 -
ElasticSearch之找到乔丹的空中大灌篮电影
本文看一个搜索的实际例子,找到篮球之神乔丹的电影Space Jam,即空中大灌篮。另,本文测试数据,从下载。原创 2024-02-27 16:14:42 · 605 阅读 · 0 评论 -
ElasticSearch之单值多字段查询以及multi match
在我们看了使用dis_max这里不知道你注意到没有,Brown fox我们重复写了N遍,即要查询的字段越多则重复写的次数也越多,想要解决这个问题,就可以使用本文要学习的multi_match了。原创 2024-02-26 11:50:39 · 1537 阅读 · 0 评论 -
ElasticSearch之单值多字段查询以及dis max query
此时情况又不太一样,在文档1的title中包含quick,而body不匹配,但文档2,title中包含pets,body中包含quick,所以应该给文档2更高的分数才符合常理,此时又该怎么做呢?其实在dis_max中是有一个。所以文档1的最终得分就比文档2的高了。如何解决没有匹配到理想的结果这个问题呢,如果是我们将算分机制从。该参数的作用是与非最高分的匹配项的分数相乘,然后再和最高分加在一起作为文档的最终得分,也就是。实际的业务场景中,我们需要使用不同的查询方式并灵活调整参数,来满足不同的业务需求。原创 2024-02-23 14:36:31 · 676 阅读 · 0 评论 -
ElasticSearch之bool多条件查询
bool查询用于进行多条件的组合查询,如果是需要计算得分的,则取各个查询的得分之和作为最终得分。原创 2024-02-23 10:43:59 · 761 阅读 · 0 评论 -
ElasticSearch之零碎知识点
本文记录es的零碎知识点,包括但不限于概念,集群方式,等。原创 2024-02-22 17:34:42 · 593 阅读 · 0 评论 -
ElasticSearch之结构化搜索
本文看下es的结构化搜索,结构化搜索顾名思义就是对结构化数据的搜索,那么什么是结构话数据呢?针对上述数据的搜索,我们可以采用以及等。结构化查询在一定程度上可以认为是精准匹配,所以可以根据具体情况考虑。原创 2024-02-22 10:49:33 · 805 阅读 · 0 评论 -
ElasticSearch之聚合aggs
即,数据的统计分析。如sum,count,avg,min,max,分组等。原创 2024-02-21 11:17:20 · 1346 阅读 · 0 评论 -
ElasticSearch之Index Template 和Dynamic Template
在一文中我们一起看了es的dynamic mapping机制,通过该机制允许我们不需要显式的定义mapping信息,而是es根据插入的文档值来其中firstName和lastName会被映射为text类型,并自动添加keyword类型的,loginDate因为数据格式符合日期类型被自动映射为date类型。考虑这样的需求,我们不希望给text类型的字段自动应用多字段,即增加keyword类型的子字段,并且我们也不希望当插入的数据时日期类型时不要映射为date类型,该怎么做呢?原创 2024-02-19 16:18:28 · 1532 阅读 · 0 评论 -
ElasticSearch之Mapping
hello world原创 2024-02-18 18:24:34 · 1998 阅读 · 1 评论 -
ElasticSearch之search API
本文看下查询相关内容,这也是我们在实际工作中接触的最多的,所以有必要好好学习下!原创 2024-02-08 17:50:14 · 1647 阅读 · 0 评论 -
ElasticSearch之倒排索引
分词:analysis,即将一句话分为多个词(term)的过程。分词器:analyzer,完成分词这个操作的工具。如下图:所以,分词是个动词,分词器是个名词。分词器在我们写入数据构建倒排索引的时候会用到,在输入一句话进行搜索的时候也会用到。https://blog.csdn.net/weixin_28906733/article/details/106610972 如果希望自定义一个与standard类似的analyzer,只需要在原定义自定义一个与standard类似的analyzer。原创 2024-02-06 17:59:19 · 2202 阅读 · 0 评论 -
ElasticSearch之基本crud
本文看下工作中用的最多的CRUD。让我们一起来做一个帅帅的CRUD BOY吧!!!原创 2024-02-01 15:08:45 · 903 阅读 · 0 评论 -
ElasticSearch之基础概念
本文一起看下es的基础概念,比较枯燥的内容说,但不看又不行。开始。原创 2024-01-31 18:05:04 · 772 阅读 · 0 评论 -
ElasticSearch之安装和简单配置
本文看下elk的安装和简单配置,安装我们会尝试通过不同的方式来完成,也会介绍如何使用docker,docker-compose安装。原创 2024-01-30 17:50:32 · 1840 阅读 · 0 评论 -
ElasticSearch之简介
背后公司,elastic,08年纽交所上市,与腾讯,阿里等云厂商有合作,推出云产品,类似功能的产品由solr,splunk,但使用量es当前遥遥领先,下图是es与solr的对比图,可看到在03年左右es已经一骑绝尘了,如下图:可看到,使用很大,并且使用的非常广泛,分布全球。核心功能,搜索,聚合。原创 2024-01-30 10:18:42 · 763 阅读 · 0 评论 -
ElasticSearch之极简入门
1:写在前面本文我们来一起看下elk的安装和简单使用。e:elastic search 搜索l:logstash 日志处理k:kibana 可视化工具三者关系如下图:2:安装es在这篇文章 已经介绍了es的安装和简单使用,直接参考即可,但是注意本文使用的es版本是7.5.1。3:安装logstash在这里 下载。然后unzip logstash-7.5.1.zip解压,来简单看下config/logstash-sample.conf:input { beats { por原创 2021-12-06 20:50:18 · 621 阅读 · 1 评论 -
ElasticSearch之es简单安装
1:写在前面本文介绍Linux下简单安装。在这里 下载es。在这里 下载jdk8。2:安装配置2.1:创建安装目录$ mkdir -p /work/programs/elasticsearch$ cd /work/programs/elasticsearch将下载的文件放到目录,并tar -zxf解压。2.2:配置修改elasticsearch.yml添加如下内容:network.host: 0.0.0.0bootstrap.system_call_filter: false原创 2021-12-04 20:57:16 · 1554 阅读 · 1 评论