Elasticserach
文章平均质量分 77
从实践应用中发现问题并寻找答案。
二狗plus
人类所有真实的快乐,一定是恒久的努力。
展开
-
Elasticsearch:图解写入流程
学习Elasticsearch的写入过程可以帮助我们更好地理解和应用这项技术,从而优化其性能,提高数据的可用性和可扩展性,实现更高效的搜索和分析。原创 2023-03-20 23:52:38 · 1370 阅读 · 1 评论 -
Elasticsearch:集群关键指标及调优指南
CPU使用率、内存使用率、磁盘使用率、GC频次、fielddata内存使用量的调优策略。原创 2023-03-01 17:04:17 · 2646 阅读 · 0 评论 -
Elasticsearch:fielddata内存使用陡增解决方案
对于“fielddata内存使用指标陡增”这种情况,会直接导致集群的内存使用率上升,一旦内存使用率超过90%即会对集群的性能产生影响,直接结果是索引的写入与查询效率降低。所以需要防患于未然,在达到报警水位线之前将“对text类型字段、_id 字段进行排序聚合”的业务进行修改或使用其它方案替代,保证集群的稳定性。原创 2022-08-31 18:26:28 · 1178 阅读 · 0 评论 -
Elasticsearch:CPU使用率间歇性陡增解决方案
elasticsearch集群cpu每间隔10min飙高一次问题追踪原创 2022-08-23 18:30:24 · 1052 阅读 · 0 评论 -
Elasticsearch:解决并发写入导致版本冲突异常version_conflict_engine_exception
数据同步中,在使用阿里云Elasticsearch7.10.0版本的集群作为目标数据源时,在连续写入同一文档(document)出现版本冲突问题。原创 2022-08-23 18:08:14 · 10627 阅读 · 0 评论 -
Elasticsearch:数据建模的方法与规范
当前文档以实战问题为基础,规范Elasticsearch数据建模流程,重点分析基于业务角度、数据量级角度、setting、mapping、复杂索引关联这五个层面中涉及到的问题。原创 2022-08-23 15:53:45 · 1353 阅读 · 0 评论 -
Elasticsearch:更改索引中字段的数据类型的方法
需要将已有索引中的已有字段作为新的查询条件,需求中需要对该字段进行范围查询,当前字段为keyword类型的数字,此时发现查询所得结果与预期不符合。原创 2022-08-23 15:21:27 · 2586 阅读 · 0 评论 -
Elasticsearch:遇到SocketTimeoutException异常的处理方式
数据同步服务在写入Elasticsearch索引时,偶发异常:java.net.SocketTimeoutException: 30,000 milliseconds timeout on connection http-outgoing-746 [ACTIVE]原创 2022-08-23 14:51:43 · 11329 阅读 · 0 评论 -
Elasticsearch:keyword类型和text类型的区别
text比keyword多出了分词处理,所以从内存占比与性能上来看,如果keyword满足业务场景并且业务场景中不需要分词,那么优先使用keyword,因为其内存占比更低,性能更优。原创 2022-08-22 18:42:00 · 1658 阅读 · 0 评论 -
Elasticsearch分页的三种方式:from+size、scroll、search_after
search_after 是一种假分页方式,根据上一页的最后一条数据来确定下一页的位置,同时在分页请求的过程中,如果有索引数据的增删改查,这些变更也会实时的反映到游标上。使用scroll滚动搜索,可以先搜索一批数据,然后下次再搜索一批数据,以此类推,直到搜索出全部的数据。这个分页的用法,不是为了实时查询数据,而是为了一次性查询大量的数据(甚至是全部的数据)。滚屏搜索会及时制作快照。可以看到在返回结果中,存在一个很重要的_scroll_id,在后面的请求中,都需要在带着这个_scroll_id去请求。原创 2022-08-22 18:40:36 · 2167 阅读 · 0 评论 -
Elasticsearch:IndexSorting预排序
Elasticsearch Index Sorting 是通过调整Segment里的数据顺序来契合检索时的顺序,以达到在检索时能够按照Sort里的顺序来对document做处理,当取到足量的满足条件的数据时,忽略后续所有的document,当指定Field值的倒排索引的数据量很大时,能够极大的提升检索时的效率。原创 2022-08-22 18:16:22 · 874 阅读 · 0 评论 -
Elasticsearch之Index Setting:索引的静态配置与动态配置
索引的配置项按是否可以更改分为静态配置与动态配置,所谓的静态配置即索引创建后不能修改。原创 2022-08-22 16:23:19 · 2253 阅读 · 0 评论 -
Elasticsearch:处理并发冲突
问:乐观并发控制-版本号形式的锁,在更新数据的时候是否会阻塞?答:不会阻塞。类似于 CAS算法 中ABA问题的解决方案。原创 2022-08-22 15:49:10 · 685 阅读 · 0 评论 -
ElasticSearch:横向扩容以及容错机制
一、ElasticSearch横向扩容primary shard 和 replica自动负载均衡1.1 假设,我们的ElasticSearch集群中存在:2个node(节点),3个primary shard(主分片) ,3个replica shard(副本分片)。 2个节点各有3个分片 ,每个主分片各有1个副本分片。如下图:1.2 如果此时给ElasticSearch集群增加一个node(节点),ElasticSearch会自动对primary shard 和 replica shard原创 2022-03-31 12:09:20 · 2970 阅读 · 0 评论 -
Elasticsearch:文档存储
Q1:ElasticSearch为什么是近实时搜索而不是实时搜索?Q1:ElasticSearch为什么是近实时搜索而不是实时搜索?Q2:ElasticSearch分片内部的写入和删除流程?Q3:ElasticSearch的段合并?原创 2021-06-14 22:48:00 · 1309 阅读 · 2 评论 -
Elasticsearch: 修改数据时各分片是如何交互的
创建一个测试索引docker,该索引包含2个分片和2个副本,那么1个主分片就存在着2个副本分片,该索引一共存在6个分片:PUT doctor{ "settings": { "number_of_shards": 2, "number_of_replicas": 2 }, "mappings": { "doctor":{ "properties":{ "id":{ "type":"integer"原创 2021-06-14 22:39:20 · 389 阅读 · 0 评论 -
Elasticsearch之倒排索引:Elasticsearch是如何做到快速索引的
倒排索引原理。原创 2021-03-16 20:33:21 · 1651 阅读 · 0 评论 -
Elasticsearch之DSL:常用语法与用法
一、DSL 简单用法二、query 和 filter 差异三、多搜索条件组合查询(最常用)原创 2021-03-15 22:46:23 · 3414 阅读 · 0 评论 -
Elasticsearch之环境搭建:docker容器部署运行Elasticsearch和kibana
最近在学习Elasticsearch的相关内容,所谓一切学习从搭建环境开始,下面就用docker来部署Elasticsearch。原创 2019-10-16 16:39:37 · 1669 阅读 · 0 评论