大数据-Elasticsearch
文章平均质量分 73
可免费问问题,可以一次订阅,终身免费问问题。工作多年遇到的问题,与一些总结,注意事项等,有些是源码级别的讲解,同时整个博客是成体系的,里面有很多连接互相连接,问题都是拆开的,能让大家遇到问题的时候方便的解决问题,或者提供思路。
优惠券已抵扣
余额抵扣
还需支付
¥79.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
九师兄
可免费问问题,可以一次订阅,终身免费问问题。工作多年遇到的问题,与一些总结,注意事项等,有些是源码级别的讲解,同时整个博客是成体系的,里面有很多连接互相连接,问题都是拆开的,能让大家遇到问题的时候方便的解决问题,或者提供思路。也可以单独找我解决问题。
展开
-
【Elasticsearch】Elasticsearch 监控 合集
一文搞懂 Elasticsearch 监控如何监控Elasticsearch为什么Elasticsearch查询变得这么慢了?干货 | Elasticsearch Top10 监控指标原创 2023-04-09 22:44:27 · 1538 阅读 · 1 评论 -
【Elasticsearch】Elasticsearch 性能优化合集
ElasticSearch部署架构和容量规划让Elasticsearch飞起来!百亿级实时查询优化实战Elasticsearch:shard 分配感知原创 2023-04-09 09:41:43 · 554 阅读 · 1 评论 -
【Elasticsearch】elasticsearch 常用 API 介绍
这里是积累各种API检索所有的_all字段q = pony包含运算符和包含boost精确检索的复杂检索使用通配符和特殊查询进行检索模糊搜素和范围检索。原创 2020-10-22 22:15:18 · 1945 阅读 · 0 评论 -
【ES】ES 好文档积累
1.概述文江博客 > ELK Stack 中文指南1)ES官方向导2)ES官方文档(API相关)3)ES资源清单(全)4)ES云5)ES官方论坛(英文)ES|stackOverflow论坛地址7)ES 性能测试相关(NB)https://www.datadoghq.com/blog/monitor-elasticsearch-performance-metrics/Elasticsearch冷热分离原理和实践深入理解Elasticsearch写入过程Elasticsearch.原创 2020-10-05 13:33:58 · 700 阅读 · 0 评论 -
【Elasticsearch】Elasticsearch查询解析
Elasticsearch(ES)可用于全文检索、日志分析、指标分析、APM等众多场景,而且搭建部署容易,后期弹性扩容、故障处理简单。ES在一定程度上实现了一套系统支持多个场景的希望,大幅度降低使用多套专用系统的运维成本(当然ES不是万能的,不能满足事务等场景)。正是因为其通用性和易用性,ES自2010年发布首个版本以来得到爆发式的发展,广泛应用于各类互联网公司的不同业务场景。原创 2024-09-16 00:30:00 · 127 阅读 · 0 评论 -
【Elasticsearch】Elasticsearch 节点 属性
表示索引要分配在包含索引指定值的节点上(通常一般设置一个值)。elasticsearch修改集群范围设置提供两种方式,永久性修改,persistent相关的修改保存在了。表示索引可以分配在包含多个值中其中一个的节点上。表示索引只能分配在不包含所有指定值的节点上。,如果想删除设置,删除此文件即可。原创 2024-08-10 01:30:00 · 123 阅读 · 0 评论 -
【Elasticsearch】如何解决在Elasticsearch未分配的碎片
编者注: Elasticsearch使用术语“master”来描述它的架构和某些指标名称。Datadog不使用这个术语。在这篇博文中,我们将把这个术语称为“primary”。在Elasticsearch中,健康的集群是一个平衡的集群:主分片和副本分片分布在所有节点上,以便在节点故障时保持持久的可靠性。但是,当您看到分片停留在UNASSIGNED状态时,应该怎么做呢?在我们深入研究一些解决方案之前,让我们验证一下未分配的碎片是否包含我们需要保留的数据(如果没有,删除这些碎片是解决问题的最直接方法)。原创 2024-08-09 00:30:00 · 377 阅读 · 0 评论 -
【Elasticsearch】es如何查看版本信息
获取集群健康状态等信息,包括集群名称、节点数、数据节点数、分片等的一些统计信息。这个和直接访问9200端口的结果是一样的。今天学了一个新的命令,查看es版本信息。原创 2024-06-22 00:30:00 · 1308 阅读 · 0 评论 -
【Elasticsearch】Elasticsearch 常见问题 合集
Elasticsearch 出现 “429 rejected” 报错,怎么办?Elasticsearch JVM 堆内存使用率飙升,怎么办?Elasitcsearch CPU 使用率突然飙升,怎么办?Elasticsearch 磁盘使用率超过警戒水位线,怎么办?干货 | Elasticsearch 运维实战常用命令清单Elasitcsearch 开发运维常用命令集锦原创 2024-06-20 00:45:00 · 142 阅读 · 0 评论 -
【Elasticsearch】几点 Elasticsearch集群规划及性能优化
ES集群的健康状态分为三种,分别是Green、Yellow和Red。Green(绿色) :全部主 & 副本分片分配成功;Yellow(黄色) :至少有一个副本分片未分配成功;Red(红色) :至少有一个主分片未分配成功。其中需要重点关注的几个字段有 status、number_of_nodes、unassigned_shards 和 number_of_pending_tasks。原创 2024-06-04 00:45:00 · 637 阅读 · 0 评论 -
【Elsatic】XContentElasticsearchExtension could not be instantiated 、XContentBuilder 找不到
可以看到有多个实现类。但是我仍然没有思路,然后后来我发现我的报错位置是构建SearchRequest的时候就报错了,打印的时候能看出来。本次排查问题有个误导我很久的,我们的很多地方都用到了es查询,但是其他地方都没有报错,但是这里报错了。这个是查询es数据的原始数据,未分词的数据,是不是这个原因呢?然后我对比上面那个图,突然代码中有如下。报错这个类,找不到,然后我加入依赖。找不到原因,后来一直追溯代码。我注释掉试试,注释掉果然报错了。看起来报错位置应该在。.然后我看看这个方法。原创 2024-05-01 02:15:00 · 203 阅读 · 1 评论 -
【Elastic】Data too large, data for [bulk] would be [21063213/20mb]
flink写入es的时候报错 这个问题是es集群有设置,我们批量写入是20M,但是对方设置的是 10M,修改我们参数改成10M就可以了。对应代码如下原创 2023-07-21 20:13:42 · 407 阅读 · 3 评论 -
【Elastic】Elastic过滤已经删除的数据是在哪个阶段完成的
在Elasticsearch中,对已经删除的数据的过滤通常是在搜索查询的阶段完成的,而不是在数据删除的时候。当你执行一个查询时,Elasticsearch会检索匹配查询条件的文档,并且已经被标记为已删除的文档通常不会包含在查询的结果中。总之,过滤已删除的数据通常是在查询阶段完成的,而提取阶段仅包含匹配的文档的详细数据,而不包括已删除的文档。Fetch 阶段是用来获取搜索结果中匹配文档的实际文档内容,而在查询阶段已删除的文档会被过滤掉,因此它们不会包括在需要提取的文档集合中。我会尝试澄清这两个观点。原创 2023-10-16 20:12:55 · 148 阅读 · 0 评论 -
【Elastic】Elastic使用keyword类型 discovery能查到 dev tools查不到、有数据查不到
今天查询es遇到一个奇怪的问题,Elastic使用keyword类型 discovery能查到 dev tools查不到、有数据查不到。我在discovery能查到数据如下然后我到dev tools查询如下,发现查不到数据查询条件如下后来发现这样就能查询到查询条件如下后面经过查看发现这个字段不是keyword类型但是我的模版是keyword的类型,后来知道这个索引是老索引,新的模版加了,但是老索引没有变化,所以查不到,重新滚动索引,或者删除重新生成就好了。原创 2023-10-04 14:01:39 · 350 阅读 · 0 评论 -
【Elastic】Illegal unquoted character ((CTRL-CHAR, code 9)): has to be escaped using backslash to be i
正确的原因是我这里有个隐含的字符ctlr,到notepad++里面拷贝一下就好了。的话,就会报错,转换异常,我们需要把字段对应的value值转义一下。类似这样的json请求,如果你的某个字段是一个对象的话转。但是我本次遇到的问题是我的字段名有一个空格。今天想往索引里面push一个数据。结果发现总是报错,错误信息如下。但是如果你的note字段是一个。原创 2023-09-02 09:52:24 · 346 阅读 · 0 评论 -
【Elasticsearch】Elasticsearch创建索引报错 this action would add maximum shards open
如果您的集群已经达到了最大分片数限制,并且存在一些不再需要的索引,您可以考虑删除这些索引以释放分片资源。这个错误提示表示在创建索引时,尝试添加的分片数量超过了Elasticsearch集群的最大允许值。:您可以在创建索引时指定较少的分片数量。这将降低对集群资源的要求,并允许创建索引。请注意,增加集群的最大分片数可能会对集群的性能和稳定性产生影响,因此请谨慎配置。对于生产环境中的集群,请确保合理规划分片和资源分配。在执行任何更改之前,请确保了解其可能的影响,并在生产环境之前进行充分的测试。原创 2023-08-30 20:20:34 · 313 阅读 · 0 评论 -
【Elastic】elasticsearch 报错: No value specified for terms query
今天做了一个查询,想做一个类似sql in 语句的查询,然后我就写了如下代码,然后这个uuids是一个set列表,然后查询如下但是实际运行的时候报错如下at orgat orgat orgat orgat orgat org报错原因就是: 构造termsQuery查询条件的时候,比如:下边构造了一个null进去,就会报错。但是我的不是这个原因,我的明显的看到uuids这个参数是有值的,但是仍然报错,这是为什呢?后来发现我的查询语句中有一个是空的值,这样也会报错,后面过滤掉空值就对了。原创 2023-08-28 21:13:31 · 295 阅读 · 0 评论 -
【Elasticsearch】Elasticsearch 几篇 不错的 好文章
Elasticesearch内存详解Elasticsearch为啥这么快掌握它才说明你真正懂Elasticsearch【es】Elasticsearch如何保证数据不丢失?Elasticsearch:实用 BM25 - 第 1 部分:分片如何影响 Elasticsearch 中的相关性评分Elasticsearch:实用 BM25 - 第 2 部分:BM25 算法及其变量Elasticsearch:实用 BM25 - 第 3 部分:在 Elasticsearch 中选择 b 和 k1 的注意事项使用 Ing原创 2023-07-09 12:28:33 · 146 阅读 · 0 评论 -
【Elastic】Elastic缺少xpack无法创建模板 unknown setting index.lifecycle.name index.lifecycle.rollover_alias
一个环境,新装的机器,带kerberos认证的Es集群,我们打算要适配这个,但是报错如下这个错误在阿里云也遇到过。阿里云的那次适配,我同事曾经用了一周来解决这个问题。记忆深刻呀。最后这个问题,是因为xpack插件没有安装导致的,安装之后就好了...原创 2022-07-05 18:17:34 · 689 阅读 · 1 评论 -
【elsctic】elsctic kerberos status line [HTTP/1.1 401 Unauthorized] authenticate failed!
elsctic远程认证kerberos集群我同事的正常,但是我的不正常我的配置信息如下我把我的代码放到对方集群的某个机器上,同样的配置,对方就可以,但是我的不行。es认证代码如下具体认证的代码如下远程服务器打印如下,并且没有报错但是我放到集群之外的服务器报错 如下然后此时代码是这样的最后找到原因了,然后改成这样就可以了后来验证好像不是这个问题,好像是 这个名称些错误了应该是这样的打印日志如下然后就好了,这个完全就是编码不执行,一个细节导致的错误,但是找了一个下午,耗时 4个多小时..原创 2022-06-28 21:18:40 · 1754 阅读 · 0 评论 -
【Elasticsearch】ES删除索引时报错“wildcard expressions or all indices are not allowed
1.概述今天将Elasticsearch升级到7.9.2版本,然后相关的接口报错在删除索引时,使用了通配符,批量删除/usr/bin/curl -v -XDELETE "http://192.168.1.237:9200/*2021.10.11"结果执行的时候一直报一个错在这里插入图片描述百度上查了说是:为了防止误删除,elasticsearch.yml 中的action.destructive_requires_name默认为true只要将这个参数改为false重启就可以了,但是我去原创 2022-06-18 12:26:47 · 1568 阅读 · 0 评论 -
【Elasticsearch】Elasticsearch 报错 Values less than -1 bytes are not support
1.概述我一个接口调用Elasticsearch的GET /_cat/nodes报错Values less than -1 bytes are not support错误信息如下后续找到原因,有个值为负数了对应es的源码为原创 2022-06-18 12:26:15 · 703 阅读 · 0 评论 -
【Elasticsearch】Elasticsearch 100 个常见 问题
1.概述转载:Elasticsearch 100问(1-30)第1问-可产品化问:重启集群后,出现了unassigned shards, 是什么原因:答:集群的shard数量较多,在节点重启后,由于recovery并发限制,shard分配次数超限,集群就不会在分配shard了,从而出现unassigned shards; 可以使用api对shard进行重新分配:POST _cluster/reroute?retry_failed=true第2问-可产品化问:使用ES过程中,出现bulk reje转载 2022-05-28 08:55:33 · 1770 阅读 · 0 评论 -
【es】如何使用 Kerberos 确保您 Elasticsearch 集群的安全
我们考虑一个简单情境,假设用户 Alice(爱丽丝)拥有一个单节点集群。Alice 已有一个,她现在希望通过Kerberos身份验证确保 Elasticsearch 集群的安全。Kerberos 身份验证服务器有权对Realm内的用户、主机或服务进行身份验证。本文中使用的命令参考了实施版本。有关更多详情,请参阅MIT Kerberos 文档。主机 1 (kdc.demo.local):这是 Kerberos 密钥分发中心 (KDC),通常包括身份验证服务器和票据授予服务器。转载 2022-01-13 21:05:47 · 1218 阅读 · 1 评论 -
【elastic】ES启动选举主节点 RemoteTransportException CoordinationStateRejected became follower
文章目录1.概述本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载。1.概述我这边master节点因为磁盘满了,结果整个集群崩了,然后重启就死活选不出master节点来。 先起4,5,6节点就一直报错es启动报错,有遇到的吗,但是我es用的是 7.3版本,这个版本不支持,是什么意思[2021-11-04T13:42:24,681][WARN ][o.e.t.TcpTransport ] [HC_MYSTEEL_LOG_ES03] except原创 2021-11-04 21:26:07 · 854 阅读 · 0 评论 -
【Elasticsearch】将 term查询的 integer 字段改成 keyword之后, must 再改成 filter,就造成query_cache剧降
1.概述请问一下,为什么 elasticsearch 不生成缓存?常见的原因有哪些? 将 term查询的 integer 字段改成 keyword之后, must 再改成 filter,就造成query_cache剧降,有什么道理。求各路神仙指点。下面是聊天正常现象,TermQuery(LUCENE中的)不会被缓存,es中term查询,针对string类型(text、keyword等)会转换为TermQuery(LUCENE中的),针对number类型会转换为RangeQuery本身就是照着原创 2021-10-31 09:46:32 · 1016 阅读 · 0 评论 -
【Flink】Flink 1.13 将数据 写入 到 elasticsearch 7 案例
1.概述想使用flink 写入es做个测试,原因是还没这样做过,想试试,然后参考一些资料如下2.Sink: BatchSink: BatchSink: Streaming Append & Upsert ModeElasticsearch 连接器允许将数据写入到 Elasticsearch 引擎的索引中。连接器可以工作在 upsert\ 模式下,使用 DDL 中定义的主键与外部系统交换 UPDATE/DELETE\ 消息。如果 DDL 中没有定义主键,则连接器只能工作在 append\原创 2021-09-06 21:40:14 · 2217 阅读 · 0 评论 -
【Flink】ValidationException: Could not find any factory for identifier json
文章目录1.概述1.概述转载:https://blog.csdn.net/sinat_23225111/article/details/118732656在做 的时候,报错如下Caused by: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'json' that implements 'org.apache.flink.table.factories.Seria原创 2021-09-06 21:39:25 · 966 阅读 · 0 评论 -
【Elasticsearch】es 7.12 Root mapping definition has unsupported parameters: _all
1.场景11.1 概述一个环境从es 6.8 升级到es 7.12 然后我执行一个rollover api 发现不能成功报错。Root mapping definition has unsupported parameters: _all最终查看模板发现老的模板有 _all 字段,把这个去掉就好了。新版本不支持这个。...原创 2021-08-10 22:20:17 · 1342 阅读 · 1 评论 -
【Elasticsearch】用Elasticsearch和Raspberry Pi构建一个真实世界的警报
1.概述翻译:Building a Real-World Alarm with Elasticsearch and Raspberry Pi编者注:随着Elastic Stack 7.11的发布,新的警报框架现在普遍可用。除了现有的与第三方平台如Slack PagerDuty和Servicenow的连接,7.11还将Microsoft Teams添加到内置警报集成列表中。在我们的警告发布博客中阅读更多关于这次更新的信息。你还记得最后一次看到火警或警察打开巡逻车的闪光灯是什么时候吗?这种警示灯或响亮的声原创 2021-08-01 08:46:03 · 224 阅读 · 0 评论 -
【Elasticsearch】Lucene 8 新特性
1.概述翻译:What’s new in Lucene 8Apache Lucene 8在几周前发布,有许多令人兴奋的新特性和改进。以下是其中的一些亮点:2.查询快捷键在Lucene 7中执行搜索时,得分代码将访问与查询匹配的每个文档,生成得分最高的k个条目和匹配的文档数量的准确计数。在许多情况下,准确的计数是不必要的,对于匹配大量文档的查询,需要花费大量时间来计数和评分那些最终不会出现在最热门的文档。Lucene 8引入了一个新的API,允许你选择不进行这个计数,而是返回匹配的文档数量的下限。这.原创 2021-07-30 19:54:25 · 1244 阅读 · 0 评论 -
【Elasticsearch】如何在生产中执行Elasticsearch的零停机升级
1.概述翻译:How to perform a zero-downtime upgrade of Elasticsearch in productionMany users need their Elasticsearch clusters to always be available. And a lot of these same users also want to upgrade their Elasticsearch environment when a new version is rel.原创 2021-07-30 19:54:05 · 253 阅读 · 0 评论 -
【Elasticsearch】10分钟查询一个petabyte的云存储容量
1.概述翻译:Querying a petabyte of cloud storage in 10 minutesElastic的新冻结数据层将计算与存储解耦,并利用低成本的对象存储(如谷歌Cloud storage、Azure Blob storage或Amazon S3)直接促进搜索。它提供了无限的存储扩展,同时保留了高效查询数据的能力,而不需要首先对数据进行补充,使大规模管理数据变得更容易和更便宜。在这篇博文中,我们将比较新的冻结层与现有的Elasticsearch数据层的搜索性能,并展示如何.原创 2021-07-30 19:53:49 · 218 阅读 · 0 评论 -
【Elasticsearch】将数据预加载到文件系统缓存中
1.概述翻译:Preloading data into the file system cache这是一个专家设置,其细节将来可能会发生变化。默认情况下,Elasticsearch 完全依赖操作系统文件系统缓存来缓存 I/O 操作。可以设置index.store.preload 以便告诉操作系统在打开时将热索引文件的内容加载到内存中。此设置接受以逗号分隔的文件扩展名列表:所有扩展名在列表中的文件将在打开时预加载。这对于提高索引的搜索性能很有用,尤其是在主机操作系统重新启动时,因为这会导致文件系统缓原创 2021-07-30 19:52:16 · 773 阅读 · 0 评论 -
【Elasticsearch】Elasticsearch 缓存深度剖析:一次提高一种缓存的查询速度
1.概述转载:Elasticsearch 缓存深度剖析:一次提高一种缓存的查询速度缓存是加快数据检索速度的王道。因此,如果您有兴趣了解 Elasticsearch 如何利用各种缓存来确保您尽可能快地检索数据,请仔细研读这篇博文,接下来的内容全是干货。本篇博文将阐释 Elasticsearch 的各种缓存功能,这些功能可帮助您在进行初始数据访问后更快地检索数据。Elasticsearch 是使用各种缓存的大户,但在本篇博文中,我们将只着重介绍以下三种:页缓存(有时称为文件系统缓存)分片级请求缓存查翻译 2021-07-30 19:51:41 · 430 阅读 · 0 评论 -
【Elasticsearch】在 Elastic Cloud 上的 Elasticsearch 服务中,如何针对日志和指标用例确定热温架构的规模
1.概述转载:在 Elastic Cloud 上的 Elasticsearch 服务中,如何针对日志和指标用例确定热温架构的规模 主要是需要翻墙,比较麻烦。希望深入了解 Amazon Elasticsearch 服务和我们官方 Elasticsearch 服务之间的区别吗?请访问我们的 AWS Elasticsearch 对比页面。最近一段时间推出了很多激动人心的变化!Elastic Cloud 上的 Elasticsearch 服务最近新增了面向广泛硬件选择的支持,并且还增加了针对部署模板的支持;这.转载 2021-07-30 19:50:41 · 259 阅读 · 0 评论 -
【Elasticsearch】 elasticsearch中 rollover 的用法
1.概述本章是 Elastic Stack 实战手册(早鸟版).pdf 读书笔记,记一下 加深记忆。建议直接看文档。创作人: 杨松柏了解 Elasticsearch 的同学应该都知道, 索引的主分片在设定之后, 改变(shrink ,split, reindex) 主分片数目的成本相当大; 因此在设计之初, 一定要规划好索引的分片数目。 如果集群的中节点数目固定, 且写入的数据不会再有更新操作或者更新操作极其少; 可以使用 Rollover index 的方式来限制每个索引的大小。Rollo.原创 2021-07-27 22:58:38 · 1371 阅读 · 0 评论 -
【Elasticsearch】Elasticsearch 动态模板(Dynamic templates)
1.概述动态映射请参考: 【Elasticsearch】Elasticsearch 7 : 动态映射 dynamic本博客摘抄自:Elastic Stack 实战手册(早鸟版).pdf 原文可看,这里做个笔记。Elasticsearch 的动态字段映射(Dynamic field mappings) 虽然使用简单, 但往往不满足现实的业务场景, 比如对于整型字段, 往往用不着 long 类型, 使用 integer类型就足够了; 对于字符串类型的字段, 我们希望细化分词方式, 而不是使用默认分词,以.原创 2021-07-27 22:09:11 · 1271 阅读 · 0 评论 -
【Elasticsearch】Curator 从入门到实战
1.概述转载:Curator 从入门到实战Curator 是elasticsearch 官方的一个索引管理工具,可以通过配置文件的方式帮助我们对指定的一批索引进行创建/删除、打开/关闭、快照/恢复等管理操作。2.场景比如,出于读写性能的考虑,我们通常会把基于时间的数据按时间来创建索引。当数据量到达一定量级时,为了节省内存或者磁盘空间,我们往往会根据实际情况选择关闭或者删除一定时间之前的索引。通常我们会写一段脚本调用elasticsearch的api,放到crontab中定期执行。这样虽然可以达.转载 2021-07-25 14:25:11 · 1208 阅读 · 0 评论 -
【Elasticsearch】ElasticSearch Cluster的一致性问题
1.概述转载:多个ElasticSearch Cluster的一致性问题本篇讨论同时使用多个ES Cluster进行搜索的时候,如何保证数据的一致性。2. 名词解释Cluster:集群,一个集群包含多个Node,且会有一个Master Node。Node:节点,一般来说一个机器部署一个Node。Shard:分片,指的是一个Index分成多少份,这些Shards会分散到各个Node上面。3. 为什么要使用多个ES Cluster?3.1 高可用方面:ElastcSearch拥有许多高可用的.转载 2021-07-25 11:39:59 · 533 阅读 · 0 评论