ElasticSearch
文章平均质量分 68
衣舞晨风
不预测,只应对
展开
-
Elasticsearch不停机切换(上云)方案
如何给飞行中的飞机换引擎?more。原创 2024-09-22 21:33:18 · 1327 阅读 · 0 评论 -
kibana elasticsearch监控指标含义
Search Rate:对于单个索引,它是每秒查找次数*分片数。 对于多个索引,它是每个索引的搜索速率的总和。搜索延迟: 搜索的平均延迟,即执行搜索所用的时间除以提交的搜索数目。这考虑主分片和副本分片。Search Latency:每个分片中的平均延迟。搜索延迟: 搜索的平均延迟,即执行搜索所用的时间除以提交的搜索数目。这考虑主分片和副本分片。Indexing Rate:对于单个索引,它是每秒索引的数量*分片数量。 对于多个索引,它是每个索引的索引速率的总和。分片合计: 为主分片原创 2024-07-22 22:15:00 · 387 阅读 · 0 评论 -
elasticsearch脚本更新文档
【代码】elasticsearch脚本更新文档。原创 2024-05-10 22:30:00 · 459 阅读 · 1 评论 -
[译]Elasticsearch _source Doc_values And Store Performance
原文地址more在这篇博文中,我想从事实上,Lucene(Elasticsearch 和 Solr 构建的基础库)提供了两种存储和检索字段的方法:存储字段(stored fields)和文档值(docvalues)。此外,Elasticsearch 默认使用 _source 字段,这是一个大 JSON,其中包含在索引时作为输入给出的文档的所有字段。为什么 Elasticsearch 使用 _source 字段作为默认值?从性能的角度来看,所有这些可能性有什么区别?让我们来看看吧!原创 2024-05-07 22:30:00 · 930 阅读 · 0 评论 -
elasticsearch _cat/indices docs.count is different than <index>/_count
_cat/indices docs.count is different than /_count原创 2024-03-26 22:15:00 · 463 阅读 · 0 评论 -
阿里云 独家深度 | 一文看懂 ClickHouse vs Elasticsearch:谁更胜一筹?
Elasticsearch最擅长的主要是完全搜索场景(where过滤后的记录数较少),在内存富裕运行环境下可以展现出非常出色的并发查询能力。但是在大规模数据的分析场景下(where过滤后的记录数较多),ClickHouse凭借极致的列存和向量化计算会有更加出色的并发表现,并且查询支持完备度也更好。原创 2024-02-22 23:00:00 · 2731 阅读 · 1 评论 -
【Elasticsearch源码】 分片恢复分析
带着疑问学源码,第七篇:Elasticsearch 分片恢复分析代码分析基于:https://github.com/jiankunking/elasticsearchmore。原创 2024-01-01 07:38:50 · 1589 阅读 · 2 评论 -
Elasticsearch之History Retention
当分片复制遇到失败,分片会停止更新hisotry retention lease,意味着Elasticsearch会保留所有新的操作,当失败的复制分片需要恢复时,就会对上述操作进行重放。这样能在某些不能恢复正常的分片复制中,避免Elasticsearch永远保留历史操作,因为一旦retention lease被触发后,Elasticsearch就会丢弃历史操作。当复制的分片收到新的操作,分片会增加该分片retention lease中的对应的序列号,表明不需要重放上述操作。转载 2023-12-27 16:21:21 · 173 阅读 · 0 评论 -
CentOS7安装docker-compose
【代码】CentOS7安装docker-compose。原创 2023-11-24 19:07:29 · 310 阅读 · 0 评论 -
Elasticsearch 集群状态详解
cluster state 返回结果详解。原创 2023-11-08 22:15:00 · 593 阅读 · 0 评论 -
一次不接受ElasticSearch官方建议导致的事故
CPU:32核内存:128G磁盘:4T*3系统盘单独挂载:40GCPU:32核内存:128G磁盘:10T系统盘单独挂载:50G以上7台机器用的都是阿里云的高效云盘,https://help.aliyun.com/zh/ecs/user-guide/disks-2也就是说最大吞吐量(读+写 上限)为140MB/s。原创 2023-10-27 13:15:53 · 829 阅读 · 0 评论 -
es remote cluster按角色查询数据,需要被查询集群与remote集群都有该角色
curl --location --request PUT 'http://127.0.0.1:9200/_security/role/ops' \--header 'Authorization: Basic 11111==' \--header 'Content-Type: application/json' \--data-raw '{ "cluster": [], "indices": [ { "names"原创 2021-12-19 07:30:33 · 942 阅读 · 0 评论 -
elasticsearch 查看所有集群设置_cluster/settings
【代码】elasticsearch 查看所有集群设置_cluster/settings。原创 2023-08-03 21:00:00 · 2317 阅读 · 0 评论 -
Win 10 ElasticSearch源码本地调试
此处以我平时学习的代码为例。原创 2023-06-08 22:00:00 · 321 阅读 · 0 评论 -
Elasticsearch文件存储
从表格中可以看出与FST相关的文件后缀有:tip、tim,从这里就可以看出FST文件是以segment维度来创建的。首先通过kibana找一个索引的shard,此处咱们就以logstash-2023.05.30索引为例。对比segment与shard目录中文件可以看出,两者是一一对应的。那么shard目录中各种后缀的文件具体是什么含义呢?有了文件信息,我们再来看下,segment信息。主要是想看一下FST文件是以什么粒度创建的?登录机器,找到存储索引文件的对应目录。展开一下该目录下的文件。原创 2023-06-03 11:42:33 · 688 阅读 · 0 评论 -
人名搜索 - 如何改进结果
基于Elasticsearch如何实现一个好用的用户名检索?more先说一下背景,需要提供一个检索接口,根据用户输入的值去检索:姓名、姓名拼音、工号、昵称等。关于姓名这个,由于大多数用户的姓名是汉字,所以第一个想到的是。原创 2023-05-15 20:47:38 · 519 阅读 · 0 评论 -
ElasticSearch的一些限制及推荐配置
ElasticSearch的一些限制及推荐配置more。原创 2023-04-17 19:42:57 · 849 阅读 · 0 评论 -
[译]自上而下认识Elasticsearch
注意:原文发表时间是14年,所以实现有可能与新版不一致.原文地址:https://www.elastic.co/cn/blog/found-elasticsearch-top-downmore。原创 2023-03-24 09:04:41 · 435 阅读 · 0 评论 -
[译]自下而上认识Elasticsearch
注意:原文发表时间是13年,所以实现有可能与新版不一致.原文地址:https://www.elastic.co/cn/blog/found-elasticsearch-from-the-bottom-upmore。原创 2023-03-24 08:59:58 · 1405 阅读 · 0 评论 -
Elasticsearch 缓存深度剖析:一次提高一种缓存的查询速度
Elasticsearch 缓存深度剖析:一次提高一种缓存的查询速度转载 2022-11-16 21:45:00 · 1773 阅读 · 0 评论 -
ES Cluster in Red status: what about write & delete operations?
ES Cluster in Red status: what about write & delete operations?原创 2022-07-22 14:40:05 · 389 阅读 · 0 评论 -
【Elasticsearch源码】 更新性能分析
带着疑问学源码,第三篇:Elasticsearch 更新性能代码分析基于:https://github.com/jiankunking/elasticsearchElasticsearch 7.10.2+目的在看源码之前先梳理一下,自己对于更新疑惑的点:为什么Elasticsearch更新与写入的性能会有比较大的差异?源码分析建议先看一下:【Elasticsearch源码】 写入分析在【Elasticsearch源码】 写入分析中可以看到bulk请求最终在TransportShardB.原创 2022-03-16 17:25:01 · 2748 阅读 · 0 评论 -
[转]7.7 版本中的新改进:显著降低 Elasticsearch 堆内存使用量
原文地址:https://www.elastic.co/cn/blog/significantly-decrease-your-elasticsearch-heap-memory-usage由于 Elasticsearch 用户不断突破在 Elasticsearch 节点上存储的数据量的极限,所以他们有时会在耗尽磁盘空间之前就将堆内存用完了。对于这些用户来说,这个问题难免让他们沮丧,因为每个节点拟合尽可能多的数据通常是降低成本的重要手段。但为什么 Elasticsearch 需要堆内存来存储数据.原创 2022-03-16 17:22:05 · 1075 阅读 · 0 评论 -
[译]ElasticSearch中如何处理关联数据?
Inner Object、Nested、Parent/Child、Denormalization现实世界中的数据很少是简单的–通常情况下,数据之间有着错综复杂的联系。你如何在 Elasticsearch 中表示关系数据? 有几种机制可用于提供关系支持。 每个都有其优点和缺点,使它们适用于不同的情况。Inner Objects最简单的机制被命名为“内部对象”。 它们是嵌入在父文档中的JSON对象:{ "name": "Zach", "car": { "make":原创 2022-03-16 17:19:20 · 1822 阅读 · 0 评论 -
Elasticsearch 集群内应该设置多少个分片(shard)?
我应该设置多少个分片?我应该设置多大的分片?Elasticsearch 是一个功能十分丰富的平台,支持各种用例,能够在数据整理和复制战略方面提供很大的灵活性。然而这一灵活性有时也会带来困扰,让您在前期难以确定如何最好地将数据整理为索引和分片,如果您刚上手使用 Elastic Stack,这一点可能更明显。如果未能做出最佳选择,尽管这在开始的时候可能不会造成问题,但随着数据量越来越大,便有可能会引发性能问题。集群中的数据越多,要纠正这一问题就越难,这是因为有时必须对大量数据进行重新索引。据我们了解,当原创 2022-03-16 17:13:27 · 3785 阅读 · 0 评论 -
encrypted communication elasticsearch java rest client
ElasticSearch 7.3.1Java Rest Client HTTPS连接操作ElasticSearch版本7.3.1,elasticsearch.yml配置如下:xpack.security.enabled: truexpack.security.transport.ssl.enabled: truexpack.security.transport.ssl.verification_mode: certificatexpack.security.transport.ssl.k.原创 2022-03-16 17:11:40 · 1802 阅读 · 0 评论 -
【Elasticsearch源码】 写入分析
带着疑问学源码,第一篇:Elasticsearch写入代码分析基于:https://github.com/jiankunking/elasticsearchElasticsearch 7.10.2+目的在看源码之前先梳理一下,自己对于写入流程疑惑的点:Elasticsearch写入是等待所有副本都写入完成了才返回还是只要主副本写入了就返回?副本写入成功的标准是什么?wait_for_active_shard参数的作用是啥?源码分析第二部分是代码分析的过程,不想看的朋友可以跳过直接看第.原创 2022-03-16 17:10:45 · 2432 阅读 · 0 评论 -
【Elasticsearch源码】 检索分析
带着疑问学源码,第二篇:Elasticsearch 搜索代码分析基于:https://github.com/jiankunking/elasticsearchElasticsearch 7.10.2+目的在看源码之前先梳理一下,自己对于检索流程疑惑的点:当索引是按照日期拆分之后,在使用-* 检索,会不会通过索引层面的时间配置直接跳过无关索引?使用*会对性能造成多大的影响?源码分析第二部分是代码分析的过程,不想看的朋友可以跳过直接看第三部分总结。分析的话,咱们就以_search操作为主线.原创 2022-03-16 17:09:41 · 3878 阅读 · 0 评论 -
Elasticsearch From/Size、Scroll、Search After对比
Elasticsearch From/Size、Scroll、Search After对比From/Size可以使用from和size参数对结果进行分页。from参数定义要获取的第一个结果的偏移量。 size 参数允许您配置要返回的最大匹配数。简单来说,需要查询from + size 的条数时,coordinate node就向该index的其余的shards 发送同样的请求,等汇总到(shards * (from + size))条数时在coordinate node再做一次排序,最终抽取出.原创 2022-03-16 17:08:38 · 4400 阅读 · 0 评论 -
Elasticsearch Refresh vs Flush
Elasticsearch Refresh和Flush区别Refresh使用refresh API显式刷新一个或多个索引。 如果请求以数据流为目标,则刷新该流的后台索引。刷新使自上次刷新以来对索引执行的所有操作都可用于搜索。默认情况下,Elasticsearch会定期每秒刷新一次索引,但仅在最近30秒内收到搜索请求的索引上刷新。也可以使用index.refresh_interval设置更改此默认间隔。刷新请求是同步的,并且在刷新操作完成之前不会返回响应。Flush通过刷新data stre.原创 2022-03-16 16:59:29 · 1164 阅读 · 0 评论 -
[译]eBay Elasticsearch性能调优实践
翻译自:Elasticsearch Performance Tuning Practice at eBay地址:https://tech.ebayinc.com/engineering/elasticsearch-performance-tuning-practice-at-ebayElasticsearch是一个基于Apache Lucene的开源搜索和分析引擎,允许用户近实时地存储、搜索和分析数据。在eBay上承载Elasticsearch集群的平台Pronto,使eBay内部客户可以轻松地.原创 2022-03-16 16:58:37 · 1740 阅读 · 1 评论 -
【Elasticsearch源码】 节点关闭分析
带着疑问学源码,第六篇:Elasticsearch 节点关闭分析代码分析基于:https://github.com/jiankunking/elasticsearchElasticsearch 7.10.2+目的在看源码之前先梳理一下,自己对于节点关闭流程疑惑的点:节点关闭都做了哪些检查?kill ES进程来关闭节点是否安全?普通节点关闭与Master节点关闭有什么区别?正在写入数据的节点,在关闭的时候,会发生什么?源码分析在节点启动过程中,Bootstrap#setup方法中.原创 2022-03-16 16:57:57 · 1571 阅读 · 0 评论 -
【Elasticsearch源码】 节点启动分析
带着疑问学源码,第五篇:Elasticsearch 节点启动分析代码分析基于:https://github.com/jiankunking/elasticsearchElasticsearch 7.10.2+目的在看源码之前先梳理一下,自己对于节点启动流程疑惑的点:节点启动都做了哪些检查?节点启动都初始化了哪些内容?当节点启动后,数据迁移是在哪里处理?源码分析先从启动脚本中找到启动类的入口:org.elasticsearch.bootstrap.Elasticsearch。下面.原创 2022-03-16 16:56:40 · 2202 阅读 · 0 评论 -
ElasticSearch的一些限制
ElasticSearch 限制1、 数组字段,数组大小无限制。There is no hard limit but it’s definitely recommended to keep those arrays “reasonable”. When performing an update, Elasticsearch needs to fetch the entire doc, apply the update, then index the updated document and rep.原创 2022-03-16 16:54:40 · 2693 阅读 · 0 评论 -
【Elasticsearch源码】 GET分析
带着疑问学源码,第四篇:Elasticsearch GET代码分析基于:https://github.com/jiankunking/elasticsearchElasticsearch 7.10.2+通过前3篇的学习,可以稍微总结一下Elasticsearch:ES是一个集群,所以每个Node都需要和其他的Nodes 进行交互,这些交互是通过NodeClient来完成。ES中RPC、HTTP请求都是基于Netty自行封装的:NettyTransport 对应RPC协议支持Netty.原创 2022-03-16 16:53:53 · 2091 阅读 · 0 评论 -
[译]Elasticsearch集群规模和性能调优
翻译自:Elasticsearch Cluster Sizing and Performance Tuning地址:https://www.elastic.co/cn/blog/found-sizing-elasticsearch集群应该有多少个节点?应该创建多少个副本?为了获得最佳的搜索性能,分片(Shard)的最佳平均大小是多少?诸如此类的问题只有你自己知道答案。没有人知道你的数据和查询结构,你使用的硬件,你的吞吐量。没有数学公式,也没有理论计算方法。如果你带着这样的期望而来,我很抱歉让你失.原创 2022-03-16 16:52:47 · 551 阅读 · 0 评论 -
Elasticsearch Breaker CircuitBreakingException Parent Data Too Large Real Usage
indices.breaker.total.use_real_memory 引发的问题最近业务日志es(7.6.2)集群,写入时经常返回以下异常:2020-11-24T02:59:05.557085524Z {"type": "server", "timestamp": "2020-11-24T02:59:05,556Z", "level": "DEBUG", "component": "o.e.a.a.c.n.i.TransportNodesInfoAction", "cluster.name".原创 2022-03-16 16:51:29 · 618 阅读 · 0 评论 -
磁盘分区、挂载
查看已挂账的磁盘df -hl /*查看分区fdisk -l分区指定文件系统(会格式化)mkfs.xfs -f /dev/vdb挂载mount /dev/vdb /data以上挂载重启后失效查看挂载结果df -THblkid 磁盘分区,查询磁盘分区的UUID。blkid /dev/vdbvim编辑/etc/fstabUUID=37aeb018-9dfd-412f-81c1-583f1eb1189f /data xfs defaults原创 2022-01-10 16:13:24 · 493 阅读 · 0 评论 -
elasticsearch cluster 开启用户名+密码
当前目录:/home/es/elasticsearch-7.13.4docker-compose.yml---version: '2.2'services: elasticsearch: restart: always image: elasticsearch:7.13.4 container_name: es-node1 network_mode: host volumes: - /data/es/data:/usr/share/elast原创 2021-09-01 15:54:47 · 716 阅读 · 0 评论 -
failed to obtain node locks, tried with lock id [0]; maybe these locations are not writable or multi
具体错误信息:{"log":"{\"type\": \"server\", \"timestamp\": \"2021-08-24T05:23:00,545Z\", \"level\": \"ERROR\", \"component\": \"o.e.b.ElasticsearchUncaughtExceptionHandler\", \"cluster.name\": \"business-log\", \"node.name\": \"es-b-191\", \"message\": \"uncaug原创 2021-08-24 13:46:50 · 3955 阅读 · 0 评论