![](https://img-blog.csdnimg.cn/20190829223946917.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
【ES-Elasticsearch】
文章平均质量分 85
es 从入门到精通,知识点全覆盖 ,原理分析解读
小小工匠
show me the code ,change the world
展开
-
ElasticSearch - 删除已经设置的认证密码(7.x)
删除Elasticsearch密码虽然可以简化测试环境,但应小心操作,确保在生产环境中保持严格的安全配置。在生产环境中,应始终保持和增强Elasticsearch的安全配置,以确保数据的完整性和安全性。首先,确认您的Elasticsearch集群是否启用了安全性功能。您可以通过检查配置文件。在修改配置文件前,首先需要停止Elasticsearch服务。ES 8.x ,可以使用Elasticsearch提供的。如果返回了集群的状态信息而未要求认证信息,说明配置已生效。,移除或注释掉与安全相关的配置。原创 2024-05-21 19:45:00 · 1108 阅读 · 0 评论 -
ElasticSearch - 海量数据索引拆分的一些思考
本次主要通过索引的拆分与合并,来提升查询性能,同时降低整体集群的资源使用量。过程中我们探索了在线数据的跨集群迁移,多索引联合查询的应用,数据写入的同步异步切换等,希望能够为大家提供解决 ES 大规模数据检索的瓶颈,提供参考。虽然本次相对比较平滑的完成了索引的拆分,但是需要耗费大量的开发和测试资源。伴随业务的快速发展,遇到数据瓶颈的业务线,可能有会逐渐增多,如果届时每个业务域要独自开发和测试,成本还是相对较高的。原创 2023-08-26 19:33:58 · 7483 阅读 · 0 评论 -
Elasticsearch - 闲聊ElasticSearch中的分页
ElasticSearch是一款强大的搜索引擎,它能够帮助我们快速地搜索海量数据。然而,在处理大量数据时,ElasticSearch的性能可能会受到影响。其中一个常见的问题是深度分页,也就是当我们需要获取大量数据时,ElasticSearch需要处理的数据量太大,导致性能下降。Elasticsearch 深度分页问题的本质是在进行分页查询时,由于每个分片都需要生成大量的数据,并将这些数据发送到协调节点进行汇总,因此随着查询深度的增加,每个分片需要生成的数据条数也越来越大,从而导致查询效率降低。原创 2023-08-15 06:45:00 · 6831 阅读 · 0 评论 -
Elasticsearch - 聚合获取原始数据并分页&排序&模糊查询
ES版本:7.6.需要按照主机ID 进行告警时间的汇总,并且还得把主机相关的信息展示出来。注: 所有的数据都存在索引中, 通过一个DSL查询展示实际上就是将terms聚合的结果以列表形式分页展示。原创 2023-05-11 06:30:00 · 16824 阅读 · 0 评论 -
Elasticsearch - Configuring security in Elasticsearch 开启用户名和密码访问
ES版本:7.6官方指导手册:翻译一下:验证当前版本是否支持安全功能是否打开安全设置基于FIPS的一些验证配置节点间通讯传输的安全性配置内置用户的密码选择用户验证用户身份的领域类型设置角色和用户以控制对Elasticsearch的访问启用审核以跟踪与Elasticsearch集群的尝试和成功的交互如果只是启用账号密码, 只需要如下几个步骤验证当前版本是否支持安全功能是否打开安全设置配置节点间通讯传输的安全性配置内置用户的密码。原创 2023-02-17 22:30:00 · 22700 阅读 · 0 评论 -
Elasticsearch - cluster_block_exception [FORBIDDEN/12/index read-only / allow delete (api)]
文章目录ErrorError{ "error": "{\"type\":\"cluster_block_exception\",\"reason\":\"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];\"}", "errorReason": "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];", "errorType"原创 2021-05-14 17:07:14 · 14963 阅读 · 2 评论 -
Elasticsearch-circuit_breaking_exception [parent] Data too large, data for [<http_request>]
文章目录异常信息异常信息{"root_cause":[{"type":"circuit_breaking_exception","reason":"[parent] Data too large, data for [<http_request>] would be [2904434582/2.7gb], which is larger than the limit of [2856189952/2.6gb], real usage: [2904434088/2.7gb],new原创 2021-02-07 14:09:31 · 13472 阅读 · 1 评论 -
白话Elasticsearch27-深度探秘搜索技术之误拼写时的fuzzy模糊搜索技术
文章目录官方指导例子推荐写法官方指导https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-fuzzy-query.html官方Blog : https://www.elastic.co/blog/found-fuzzy-search 强烈推荐例子我们知道,搜索的时候,可能输入的搜索...原创 2019-08-06 23:51:37 · 8687 阅读 · 0 评论 -
白话Elasticsearch73_ES生产集群中的索引管理02
文章目录概述官方指导1、mapping管理2、索引别名管理3、index settings管理4、index template管理概述继续跟中华石杉老师学习ES,第74篇课程地址: https://www.roncoo.com/view/55官方指导Index APIs: https://www.elastic.co/guide/en/elasticsearch/reference...原创 2020-01-25 01:57:10 · 8614 阅读 · 0 评论 -
白话Elasticsearch73_ES生产集群中的索引管理01
文章目录概述官方指导1、创建索引(1)创建索引的语法(2)索引创建返回消息的解释2、删除索引3、查询索引设置信息4、 Index 是否存在5、打开/关闭索引5、压缩索引6、rollover indexAdd > 1000 documents to logs-000001Wait for a day to pass概述继续跟中华石杉老师学习ES,第73篇课程地址: https://w...原创 2020-01-23 01:46:22 · 8581 阅读 · 0 评论 -
白话Elasticsearch72_利用HDFS备份与恢复ES生产集群的数据
文章目录概述hadoop hdfs分布式文件存储系统介绍概述继续跟中华石杉老师学习ES,第72篇课程地址: https://www.roncoo.com/view/55本篇博文不会涉及非常详细的操作步骤,仅把备份与恢复的关键步骤记录,等后续有真正的使用场景的时候,再来实操。hadoop hdfs分布式文件存储系统介绍简单介绍下Hadoop生态圈中非常常用的几个组件:hdfs...原创 2020-01-22 21:53:10 · 9136 阅读 · 0 评论 -
Elasticsearch-Jest 配置ES集群&源码解读
文章目录Jest Github地址搭建源码环境遇到的问题Jest Github地址直接访问 https://github.com/searchbox-io/Jest ,把源码拉下来搭建源码环境我拉了个5.3.4的版本,最新版本为6.3.1 ,大同小异test 这个module是我自己写的测试集群代码,GitHub上是没有这个的 .遇到的问题说下背景, 老项目 升级 , ...原创 2020-01-19 22:23:02 · 10897 阅读 · 1 评论 -
白话Elasticsearch71-ES生产集群部署之各个节点以daemon模式运行以及优雅关闭
文章目录概述官方指导启动 ES优雅的关闭es概述继续跟中华石杉老师学习ES,第71篇课程地址: https://www.roncoo.com/view/55官方指导启动ES https://www.elastic.co/guide/en/elasticsearch/reference/current/starting-elasticsearch.html#starting-elas...原创 2020-01-19 00:07:53 · 10484 阅读 · 0 评论 -
白话Elasticsearch70-ES生产集群部署之production mode下启动时的bootstrap check
文章目录概述官方文档什么是bootstrap check(启动时检查)?development mode vs. production modeheap size checkfile descriptor checkmaximum number of thread checkMax file size checkmaximum size virtual memory checkmaximum ma...原创 2020-01-18 23:29:23 · 8666 阅读 · 0 评论 -
白话Elasticsearch69-ES生产集群部署重要的 Elasticsearch参数设置
文章目录ES的重要参数设置官方文档Path settingsCluster nameNode nameNetwork hostDiscovery settingsHeap sizeHeap dump pathGC loggingTemp directoryES的重要参数设置官方文档https://www.elastic.co/guide/en/elasticsearch/referen...原创 2020-01-18 22:24:53 · 8929 阅读 · 0 评论 -
白话Elasticsearch68-ES生产集群部署重要的操作系统设置
文章目录概述系统的重要配置开发模式 vs 生产模式概述继续跟中华石杉老师学习ES,第68篇课程地址: https://www.roncoo.com/view/55系统的重要配置理想情况下,es应该单独在一个服务器上运行,能够使用服务器上的所有资源。为了达到上述目标,我们需要配置操作系统,来允许用户运行es并且获取比默认情况下更多的资源。在生产环境中下面的一些设置必须配置一下:(...原创 2020-01-18 16:53:46 · 9154 阅读 · 1 评论 -
白话Elasticsearch67-不随意调节jvm和thread pool的原因&jvm和服务器内存分配的最佳实践
文章目录不随意调节jvm和thread pool的原因jvm gcthreadpooljvm和服务器内存分配的最佳实践jvm heap分配将机器上少于一半的内存分配给es不要给jvm分配超过32G内存在32G以内的话具体应该设置heap为多大?对于有1TB内存的超大内存机器该如何分配?swapping不随意调节jvm和thread pool的原因es中有很多的配置都让大家忍不住去调优,因为...原创 2020-01-16 23:33:42 · 8766 阅读 · 0 评论 -
白话Elasticsearch66-针对集群重启时的shard恢复耗时过长问题定制的重要参数
文章目录概述集群重启时的无意义shard重分配问题shard recovery配置概述继续跟中华石杉老师学习ES,第66篇课程地址: https://www.roncoo.com/view/55集群重启时的无意义shard重分配问题在集群重启的时候,有一些配置会影响shard恢复的过程。首先,我们需要理解默认配置下,shard恢复过程会发生什么事情。如果我们有10个node,...原创 2020-01-16 22:15:16 · 8922 阅读 · 0 评论 -
白话Elasticsearch65-最少master候选节点以及ES集群脑裂问题
文章目录概述脑裂的成因分析概述继续跟中华石杉老师学习ES,第65篇课程地址: https://www.roncoo.com/view/55脑裂的成因分析如果因为网络的故障,导致一个集群被划分成了两片,每片都有多个node,以及一个master,那么集群中就出现了两个master了...转载 2020-01-15 23:56:15 · 8185 阅读 · 0 评论 -
白话Elasticsearch64-zen discovery集群发现机制
文章目录概述zen discovery集群发现机制cluster.name(1)ping(2)unicast概述继续跟中华石杉老师学习ES,第64篇课程地址: https://www.roncoo.com/view/55zen discovery集群发现机制Q: 现在有多台主机,每台机器部署一个es进程,每台机器都启动一个es进程,你怎么让多台机器上的多个es进程,互相发现对方,然...原创 2020-01-15 22:26:13 · 10060 阅读 · 0 评论 -
白话Elasticsearch63-生产集群部署之硬件配置、jvm以及集群规划建议
文章目录概述内存CPU磁盘网络自建集群 vs 云部署JVM容量规划概述继续跟中华石杉老师学习ES,第63篇课程地址: https://www.roncoo.com/view/55内存es吃内存,es吃的主要不是你的jvm的内存,一般来说es用jvm heap(堆内存)还是用的比较少的,主要吃的是你的机器可用的剩余内存es底层基于lucene,lucene是基于磁盘文件来读写和保存...原创 2019-09-14 00:08:34 · 9512 阅读 · 0 评论 -
白话Elasticsearch62-进阶篇之Highlighting高亮显示
文章目录概述官网示例概述继续跟中华石杉老师学习ES,第62篇课程地址: https://www.roncoo.com/view/55官网Highlighting: 戳这里示例原创 2019-09-13 15:18:11 · 13634 阅读 · 3 评论 -
白话Elasticsearch61-进阶篇之基于Term Vectors深入探查数据的情况
文章目录概述官网概述继续跟中华石杉老师学习ES,第61篇课程地址: https://www.roncoo.com/view/55官网Term Vectors: 戳这里 概括来说:Term Vectors就是 获取document中的某个field内的各个term的统计信息...原创 2019-09-04 22:20:54 · 9492 阅读 · 0 评论 -
白话Elasticsearch60-数据建模实战_Join datatype 父子关系数据建模
文章目录概述官网示例概述继续跟中华石杉老师学习ES,第60篇课程地址: https://www.roncoo.com/view/55官网Join datatype :戳这里其他详见官网解读示例...原创 2019-09-02 23:13:31 · 8794 阅读 · 0 评论 -
白话Elasticsearch59-数据建模实战_ Nested Aggregation/ Reverse nested Aggregation对嵌套的博客评论数据进行聚合分析
文章目录概述官网示例模拟数据需求一: 需求1: 按照评论日期进行bucket划分,然后拿到每个月的评论的评分的平均值需求二: 以年龄 10岁一个划分,看下都有哪些tagreverse_nested概述继续跟中华石杉老师学习ES,第59篇课程地址: https://www.roncoo.com/view/55官网Nested Aggregation:戳这里示例基于白话El...原创 2019-09-02 20:31:28 · 9323 阅读 · 0 评论 -
白话Elasticsearch57-数据建模之实现悲观锁并发控制的三种方式(未成功)
文章目录概述方式一:基于全局锁实现悲观锁并发控制方式二:基于document锁实现悲观锁并发控制方式三:基于共享锁和排他锁实现悲观锁并发控制概述继续跟中华石杉老师学习ES,第57篇课程地址: https://www.roncoo.com/view/55方式一:基于全局锁实现悲观锁并发控制课程大纲1、悲观锁的简要说明基于version的乐观锁并发控制在数据建模,结合文件系统建模...原创 2019-09-01 16:11:49 · 8565 阅读 · 0 评论 -
白话Elasticsearch56-数据建模之 Path Hierarchy Tokenizer 对文件系统进行数据建模以及文件搜索
文章目录概述官网概述继续跟中华石杉老师学习ES,第56篇课程地址: https://www.roncoo.com/view/55官网Path Hierarchy Tokenizer:戳这里Path Hierarchy Tokenizer Examples:戳这里...原创 2019-09-01 11:51:12 · 9238 阅读 · 1 评论 -
白话Elasticsearch55-数据建模之对每个用户发表的博客进行分组 (Top Hits Aggregation)
文章目录概述官网示例概述继续跟中华石杉老师学习ES,第53篇课程地址: https://www.roncoo.com/view/55官网示例需求: 对每个用户发表的博客进行分组模拟一批数据PUT /blogs2/blogs2/2{ "title": "2跟石杉老师学ES", "content": "2-second blog", "userInfo": {...原创 2019-08-31 20:45:14 · 8643 阅读 · 0 评论 -
白话Elasticsearch54-数据建模之通过【应用层join】或者【数据冗余】实现实现用户与博客的关联
文章目录概述关系型与document类型数据模型对比关系型数据库应用Modeles文档数据模型通过应用层join实现用户与博客的关联通过数据冗余实现用户与博客的关联概述继续跟中华石杉老师学习ES,第53篇课程地址: https://www.roncoo.com/view/55关系型与document类型数据模型对比举个例子: 部门和员工 ,1个部门下可以有N多个员工 ,部门:...原创 2019-08-31 10:30:10 · 8530 阅读 · 0 评论 -
白话Elasticsearch53-深入聚合数据分析之Collect Model_bucket优化机制:深度优先、广度优先
文章目录概述官网示例概述继续跟中华石杉老师学习ES,第53篇课程地址: https://www.roncoo.com/view/55官网Collect Model:戳这里示例当buckets数量特别多的时候,深度优先和广度优先如何选择?举个例子:每个演员的每个电影的评论每个演员的评论的数量 --> 每个演员的每个电影的评论的数量评论数量排名前10个的演员 ...原创 2019-08-30 23:39:23 · 9249 阅读 · 0 评论 -
白话Elasticsearch52-深入聚合数据分析之fielddata内存控制、circuit breaker短路器、fielddata filter、预加载机制以及序号标记预加载
文章目录概述官网fielddata核心原理fielddata内存限制监控fielddata内存使用circuit breakerfielddata filter的细粒度内存加载控制fielddata预加载机制以及序号标记预加载fielddata预加载 eager序号标记预加载 eager_global_ordinals概述继续跟中华石杉老师学习ES,第52篇课程地址: https://w...原创 2019-08-30 23:14:19 · 9123 阅读 · 1 评论 -
白话Elasticsearch51-深入聚合数据分析之text field聚合以及fielddata原理
文章目录概述官网示例对于分词的field执行aggregation,报错概述继续跟中华石杉老师学习ES,第51篇课程地址: https://www.roncoo.com/view/55官网fielddata: 戳这里示例对于分词的field执行aggregation,报错...原创 2019-08-29 22:31:36 · 9261 阅读 · 0 评论 -
白话Elasticsearch50-深入聚合数据分析之doc values机制
文章目录概述官网doc value原理(1)index-time生成(2)核心原理与倒排索引类似(3)性能问题:给jvm更少内存,64g服务器,给jvm最多16gcolumn压缩(1)所有值相同,直接保留单值(2)少于256个值,使用table encoding模式(3)大于256个值,看有没有最大公约数,有就除以最大公约数,然后保留这个最大公约数disable doc value概述继续...原创 2019-08-29 00:06:14 · 8483 阅读 · 0 评论 -
白话Elasticsearch50-深入聚合数据分析之基于doc values正排索引的聚合内部原理
文章目录概述思考知识点举例说明纯用倒排索引来实现的弊端倒排索引+正排索引(doc value)的原理和优势概述继续跟中华石杉老师学习ES,第50篇课程地址: https://www.roncoo.com/view/55思考聚合分析的内部原理是什么?当我们使用比如aggs,term,avg 、max等执行一个聚合操作的时候,内部原理是怎样的呢?用了什么样的数据结构去执行聚合?是不是用...原创 2019-08-28 00:23:50 · 8710 阅读 · 1 评论 -
白话Elasticsearch49-深入聚合数据分析之 Percentile Ranks Aggregation-percentiles rank以及网站访问时延SLA统计
文章目录概述官方说明案例概述继续跟中华石杉老师学习ES,第49篇课程地址: https://www.roncoo.com/view/55官方说明Percentiles Ranks Aggregation:戳这里更多请参考官网案例 需求:在200ms以内的,有百分之多少,在1000毫秒以内的有百分之多少 , 那就要用到 percentile ranks metric 啦...原创 2019-08-26 22:44:36 · 9267 阅读 · 0 评论 -
白话Elasticsearch48-深入聚合数据分析之 Percentiles Aggregation-percentiles百分比算法以及网站访问时延统计及Percentiles优化
文章目录概述官方说明示例概述继续跟中华石杉老师学习ES,第48篇课程地址: https://www.roncoo.com/view/55官方说明Percentiles Aggregation: 戳这里示例需求: 网站访问时延统计为了演示该功能,我们先建个索引,模拟一批数据#新建索引PUT /website{ "mappings": { "logs":...原创 2019-08-26 21:19:09 · 9066 阅读 · 0 评论 -
白话Elasticsearch47-深入聚合数据分析之Cardinality Aggs-cardinality算法之优化内存开销以及HLL算法
文章目录概述官方说明precision_threshold优化准确率和内存开销HyperLogLog++ (HLL)算法性能优化概述继续跟中华石杉老师学习ES,第47篇课程地址: https://www.roncoo.com/view/55官方说明Cardinality Aggregation:戳这里precision_threshold优化准确率和内存开销原始数据: ...原创 2019-08-25 21:31:12 · 9760 阅读 · 0 评论 -
白话Elasticsearch46-深入聚合数据分析之Cardinality Aggs-cardinality去重算法以及每月销售品牌数量统计
文章目录概述官方说明示例概述继续跟中华石杉老师学习ES,第46篇课程地址: https://www.roncoo.com/view/55官方说明Cardinality Aggregation:戳这里es中的去重,cartinality metric,对每个bucket中的指定的field进行去重,取去重后的count,类似于count(distcint)示例GET /tv...原创 2019-08-25 15:40:55 · 9357 阅读 · 0 评论 -
白话Elasticsearch45-深入聚合数据分析之易并行聚合算法,三角选择原则,近似聚合算法
文章目录概述易并行聚合算法三角选择原则近似聚合算法概述继续跟中华石杉老师学习ES,第45篇课程地址: https://www.roncoo.com/view/55易并行聚合算法有些聚合分析的算法,是很容易就可以并行的,比如说 max有些聚合分析的算法,是不好并行的,比如说,count(distinct),并不是说,在每个node上,直接就出一些distinct value,就...原创 2019-08-24 23:49:50 · 8739 阅读 · 0 评论 -
白话Elasticsearch44-深入聚合数据分析之案例实战_颜色+品牌下钻分析时按最深层metric进行排序
文章目录概述案例概述继续跟中华石杉老师学习ES,第44篇课程地址: https://www.roncoo.com/view/55案例需求: 颜色+品牌下钻分析时按最深层metric进行排序先看下默认的排序规则:GET /tvs/sales/_search{ "aggs": { "group_by_color": { "terms": { ...原创 2019-08-24 15:04:45 · 8718 阅读 · 0 评论