elk
文章平均质量分 75
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况。
ghostwritten
关注领域:go python k8s docker 数据库 运维
打造一个专属个人更精准的问题解决搜索引擎。
展开
-
elasticsearch快速学习手册
初学elasticsearch入门Elasticsearch本地安装与简单配置docker-compose安装elasticsearch集群Elasticsearch 7.X之文档、索引、REST API详解Elasticsearch节点,集群,分片及副本详解Elasticsearch倒排索引介绍Elasticsearch Analyzer 进行分词详解Elasticsearch search API详解Elasticsearch URI Search 查询方法详解Elasticsearc原创 2021-02-01 18:55:17 · 606 阅读 · 0 评论 -
docker-compose deploy 高可用 elasticsearch TLS
【代码】docker-compose deploy 高可用 elasticsearch TLS。原创 2023-09-08 18:52:10 · 1196 阅读 · 0 评论 -
docker-compose deploy elasticsearch tls
【代码】docker-compose deploy elasticsearch tls。原创 2023-07-11 18:51:40 · 584 阅读 · 0 评论 -
Elasticsearch Nested类型及应用【2】
文章目录1. 问题背景2. 问题出现3. 原因分析4. 如何解决呢?5. Nested类型的作用?6. Nested类型的适用场景7. Nested类型的增、删、改、查、聚合操作详解7.1 Nested类型——增7.2 Nested类型——删7.3 Nested类型——改7.4 Nested类型——查7.5 Nested类型——聚合1. 问题背景在elasticsearch中,我们可以将密切相关的实体存储在单个文档中。 例如,我们可以通过传递一系列评论来存储博客文章及其所有评论。举例:{ "t转载 2021-03-31 14:41:56 · 518 阅读 · 0 评论 -
elasticsearch ngram和edgengram分词器
文章目录1. Analysis 简介2. index analyzer VS search analyzer3. Analyze API4. Ngram5. Ngram Tokenizer6. Ngram Token Filter7. Edge Ngram1. Analysis 简介理解elasticsearch的ngram首先需要了解elasticsearch中的analysis。在此我们快速回顾一下基本原理:当一个文档被索引时,每个field都可能会创建一个倒排索引(如果mapping的时候没有转载 2021-03-29 16:03:47 · 1265 阅读 · 0 评论 -
Elasticsearch 索引创建原理
文章目录1. 创建索引2.1 分片分配机制2.1 基于冷热节点类型设置分片2.2 基于磁盘使用率分片2.3 分配分片的节流机制3. 分片的初始化过程3.1 分配主分片3.2 分配副本分片分片分配是将分片分配给节点的过程。 这可能发生在初始恢复,副本分配,重新平衡或添加或删除节点期间。 大多数时候,你不需要考虑它,这项工作是由Elasticsearch在后台完成的。1. 创建索引这是最简单的用例。 我们已经创建了一个索引c,为此我们必须分配新的分片。 如上,通过使用Kibana中的Console插转载 2021-03-29 14:34:31 · 444 阅读 · 0 评论 -
Elasticsearch 段合并
1. 问题1、 segment是不是合并到一个最好,及max_num_segments=12、合并的时候,通过POST /my_index/_forcemerge?max_num_segments=1会不会吃光所有的机器资源,造成服务暂时不可用(optimize?max_num_segments=1就会吃光所有资源),但是我没有从官方文档找到_forcemerger这种方式的资源消耗。3、在es 6.7及以上中index.merge 相关参数有需要特别注意和调整的地方吗? (目前我全部使用转载 2021-03-29 10:15:08 · 670 阅读 · 0 评论 -
Elasticsearch Painless Script详解
文章目录1. Painless 简介2. 通过 Painless 脚本访问字段2.1 案例 1:Script Processsor2.2 案例 2:文档更新计数2.3 案例 3:搜索时的 Script 字段2.4 Script :Inline v.s Stored3. 本缓存1. Painless 简介自 ES 5.x 后引入,专门为 ES 设置,扩展了 Java 的语法6.0 开始,ES 只支持 Painless。Grooby ,JavaScript 和 Python 都不在支持Painless原创 2021-03-25 11:31:44 · 2576 阅读 · 0 评论 -
Elasticsearch Reindex API详解
文章目录1. 应用场景:1. Reindex API3.1 两个注意点3.2. OP Type3.3. 跨集群 ReIndex3.4 查看 Task API4. 数据迁移5. 数据迁移效率1. 应用场景:当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex。当数据的mapping需要修改,但是大量的数据已经导入到索引中了,重新导入数据到新的索引太耗时;但是在ES中,一个字段的mapping在定义并且导入数据之后是不原创 2021-03-25 11:15:13 · 998 阅读 · 0 评论 -
Elasticsearch dynamic template详解
动态模板允许你定义可以用于动态添加的字段的自定义映射:由Elasticsearch中的match_mapping_type检测到数据类型。字段的名称可以是match(匹配)和unmatch(不匹配)或match_pattern(模式匹配)。全点路径的字段可以是path_match(路径匹配)和path_unmatch(不匹配路径)。原始字段名称{name}和检测导的数据类型{dynamic_type}模板变量可以在映射规范中用作占位符。所有的字符串类型都设定称 Keyword,或者关闭 ke原创 2021-03-24 17:24:24 · 871 阅读 · 0 评论 -
Elasticsearch 考点梳理
考试技巧● 考前熟悉考试的流程○ 需要提前20分钟配合监考老师做考试环境的检查 / 网速很慢 /后台不能有其他程序运行● 建议先将所有考题通读一遍○ 遇到不会的题目,千万不要紧张,可以先做会的题目○ 一共只有 3 个小时,合理分配每一道题的时间● 争取完成每一题○ 每道题完成其中的一部分都能获取相应的分数,你可以获取部分得分(即便不知道如何完成整个任务)如何准备● 考前必须熟悉文档的整体结构。考试时间有限,需要有能力快速定位文档○ 网速非常慢,查阅文档很慢,考前需要对文档的结原创 2021-03-22 16:58:58 · 283 阅读 · 0 评论 -
Elasticsearch Elastic 认证介绍
文章目录1. Elastic Certified Engineer2. 考试覆盖内容3. 注册4. 预约网上考试时间5. 预约时间 – PSI 网站6. 考试过程7. 考试环境8. 考试环境1. Elastic Certified Engineer● Elastic Certified 2018 年 6 月 29 日推出● OPS Analyst:Coming soon……● 当前考试使用的 ES 版本为 7.2○ 2019 年 8月6日从 6.5 升级到 版本 7.2● 考试形式:3个原创 2021-03-22 16:44:03 · 1319 阅读 · 0 评论 -
Elasticsearch 项目需求分析及架构设计
文章目录1. 需求分析2. 搜素类应用前端通用布局3. 后端通用需求4. 后端 UI5. Elastic App Search 介绍6. 架构7. 安装与配置 Demo1. 需求分析● IMDB:Movie DB● 搜索框,支持输入提示● 过滤器过滤结果,支持排序● 搜索结果的相关性排序2. 搜素类应用前端通用布局3. 后端通用需求4. 后端 UI● 自定义同义词(Matrix = 黑客帝国 = 矩阵革命)● 获取用户搜索统计数据● 调整字段的相关性权重5. Elastic原创 2021-03-22 15:40:11 · 334 阅读 · 0 评论 -
Elasticsearch 用Canvas做数据演示
实时展示数据,并且达到完美像素级要求● 用更加酷炫的方式,演绎你的数据○ 基于 ES 实现准实时的数据分析● 更好的想法,更大的屏幕○ 品牌宣传,会议大屏● 高度定制化○ 调色板 / css个性化方式展现你的数据● 公司的 Logo● 符合公司的配色方案以及设计元素● Kibana 中免费提供日志分析基础设施监控w...原创 2021-03-22 15:13:10 · 521 阅读 · 2 评论 -
Elasticsearch 用Filebeat进行日志管理
文章目录1. 日志的重要性2. 集中化日志管理3. **Filebeat 简介**4. Filebeat 执行流程5. Modules 开箱即用6. demo1. 日志的重要性● 为什么重要○ 运维:医生给病人看病。日志就是病人对自己的陈述○ 恶意攻击,恶意注册,刷单,恶意密码猜测● 挑战○ 关注点很多,任何一个点都有可能引起问题○ 日志分散在很多机器,出了问题时,才发现日志被删了○ 很多运维人员是消防员,哪里有问题去哪里2. 集中化日志管理3. Filebeat 简介●原创 2021-03-22 11:35:37 · 562 阅读 · 0 评论 -
Elasticsearch 用机器学习实现时序数据的异常检测(下)
xxx原创 2021-03-19 18:57:58 · 359 阅读 · 0 评论 -
Elasticsearch 用机器学习实现时序数据的异常检测(上)
文章目录1. 异常检测所解决的问题2. 什么是正常3. 什么是异常4. 判定异常需要一定的指导5. 相关术语6. 如何学习“正常”7. 机器学习帮你自动挑选模型8. 模型与需要考虑任何的周期9. ES ML:单指标 / ES ML:单指标 / 种群分析10. 单指标任务11. Demo1. 异常检测所解决的问题● 解决一些基于规则或者 Dashboard 难以实时发现的问题● IT 运维○ 如何知道系统正常运行 / 如何调节阈值触发合适的报警 / 如何进行归因分析● 信息安全○ 哪些用户构原创 2021-03-19 18:55:40 · 1175 阅读 · 1 评论 -
Elasticsearch 用APM进行程序性能监控
Elastic 全栈监控核心应用指标● 请求响应时间● 未处理的错误及异常● 可视化调用关系● 发现性能瓶颈● 代码下钻apm[root@master apm]# tar -xvfz apm-server-7.3.1-linux-x86_64.tar.gz tar: z:无法 open: 没有那个文件或目录tar: Error is not recoverable: exiting now[root@master apm]# tar -zxvf apm-server-7原创 2021-03-19 17:52:42 · 1168 阅读 · 0 评论 -
Elasticsearch 用Monitoring和Alerting监控Elasticsearch集群
文章目录1. X-Pack Monitoring2. 配置 Monitoring3. Overall4. Nodes5. Watcher for Alerting5.1 创建阈值告警5.2 创建高级监视1. X-Pack Monitoring● X-Pack 提供了免费集群监控的功能● 使用 Elasticsearch 监控 Elasticsearch○ Xpack.monitoring.collection.interval 默认设置 10 秒● 在生产环境中,建议搭建 dedicated 集原创 2021-03-19 16:01:50 · 774 阅读 · 0 评论 -
Elasticsearch 构建Dashboard
文章目录1. 创建2. 添加3. 修改名字4. 配置显示效果5. 删除6. 保存1. 创建2. 添加效果3. 修改名字4. 配置显示效果5. 删除6. 保存原创 2021-03-19 15:29:38 · 852 阅读 · 0 评论 -
Elasticsearch 使用Kibana Discover探索数据
文章目录1. Discovery1.1 搜索logstash的指定时间日志1.2 放大折线图1.3 过滤器1.4 添加1.5 搜索1. Discovery1.1 搜索logstash的指定时间日志1.2 放大折线图效果1.3 过滤器第一种第二种1.4 添加1.5 搜索...原创 2021-03-19 15:14:08 · 1240 阅读 · 0 评论 -
Elasticsearch 基本可视化组件介绍
Demo● 账户存款○ Pie Chart (Inspector)● 日志相关○ Area Chart (X 轴 Y 轴, 顺序,etc)○ Bar原创 2021-03-18 19:06:57 · 338 阅读 · 0 评论 -
Elasticsearch 使用 Index Pattern 配置
Index Pattern原创 2021-03-17 19:55:49 · 2738 阅读 · 1 评论 -
Elasticsearch Beats介绍
文章目录1. 什么是 Beats2. Metricbeat 简介3. Metricbeat 组成4. Module5. Metricsets6. Metricbeat Event7. Metricbeat Demo8. Packetbeat1. 什么是 Beats● Light weight data shippers○ 以搜集数据为主○ 支持与 Logstash 或 ES 集成● 全品类 / 轻量级 / 开箱即用 / 可插拔/ 可扩展 / 可视化2. Metricbeat 简介● 用来原创 2021-03-17 15:53:27 · 945 阅读 · 0 评论 -
Elasticsearch 利用 JDBC 插件导入数据到 Elasticsearch
文章目录1. 同步数据库数据到 Elasticsearch2. JDBC Input Plugin & 设计实现思路3. Demo1. 同步数据库数据到 Elasticsearch● 需求 – 将数据库中的数据同步到 ES,借助 ES 的全文搜索,提高搜索速度○ 需要把新增用户信息同步到 Elasticsearch 中○ 用户信息 Update 后,需要能被更新到 Elasticsearch○ 支持增量更新○ 用户注销后,不能被 ES所搜索到2. JDBC Input Plugin原创 2021-03-16 20:25:34 · 309 阅读 · 0 评论 -
Elasticsearch Logstash 入门及架构介绍
文章目录1. Logstash2. Logstash Concepts3. Logstash 架构简介4. Logstash 配置文件结构5. Input Plugins6. Output Plugin7. Codec Plugins8. Filter Plugins9. Queue10. 多 Pipelines 实例11. Logstash Queue12. Codec Plugin – Single Line13. Codec Plugin - Multiline14. Codec Plugin – M原创 2021-03-16 19:04:39 · 492 阅读 · 0 评论 -
Elasticsearch 索引全生命周期管理及工具介绍
1. 时间序列的索引● 特点○ 索引中的数据随着时间,持续不断增长● 按照时间序列划分索引的好处 & 挑战○ 按照时间进行划分索引,会使得管理更加简单。例如,完整删除一个索引,性能比 delete by query 好○ 如何进行自动化管理,减少人工操作■ 从 Hot 移动到 Warm■ 定期关闭或者删除索2. 索引生命周期常见的阶段● Hot Warm Cold Delete● Hot: 索引还存在着大量的读写操作● Warm:索引不存在写操作,还有被查询的需要● Cold原创 2021-03-16 11:23:29 · 727 阅读 · 0 评论 -
Elasticsearch 使用Shrink与RolloverAPI有效管理时间序列索引
文章目录1. 索引管理 API2. Open / Close Index API3. 打开关闭索引4. Shrink API5. Split API6. 一个时间序列索引的实际场景7. Rollover API1. 索引管理 API● Open / Close Index: 索引关闭后无法进行读写,但是索引数据不会被删除● Shrink Index:可以将索引的主分片数收缩到较小的值● Split Index:可以扩大主分片个数● Rollover Index:类似 Log4J 记录日志的方式原创 2021-03-16 10:49:04 · 479 阅读 · 0 评论 -
Elasticsearch 一些运维相关的建议
集群的生命周期管理预上线评估用户的需求及使用场景 / 数据建模 / 容量规划 / 选择合适的部署架构 / 性能测试上线监控流量 / 定期检查潜在问题 (防患于未然,发现错误的使用方式,及时增加机器)对索引进行优化(Index Lifecycle Management),检测是否存在不均衡而导致有部分节点过热定期数据备份 / 滚动升级下架前监控流量,实现 Stage Decommission部署的建议根据实际场景,选择合适的部署方式,选择合理的硬件配置搜索类日志 / 指标部原创 2021-03-15 19:43:15 · 365 阅读 · 1 评论 -
Elasticsearch 缓存及使用 Circuit Breaker 限制内存使用
文章目录1. Inside the JVM Heap2. Node Query Cache3. Shard Request Cache4. Fielddata Cache5. 缓存失效6. 管理内存的重要性7. 诊断内存状况8. 一些常见的内存问题9. Circuit Breaker10. Circuit Breaker 统计信息1. Inside the JVM HeapElasticsearch 的缓存主要分成三大类Node Query Cache (Filter Context)Shard原创 2021-03-15 16:35:15 · 1026 阅读 · 0 评论 -
Elasticsearch 段合并优化及注意事项
文章目录1. Lucene Index 原理回顾2. Merge 优化3. Force Merge1. Lucene Index 原理回顾在 Lucene 中,单个倒排索引文件被称为 Segment。Segment 是自包含的,不可变更的。 多个 Segments汇总在一起,称为 Lucene 的 Index,其对应的就是 ES 中的 Shard当有新文档写入时,并且执行 Refresh,就会生成一个新 Segment。 Lucene 中有一个文 件,用来记录所有 Segments信息,叫做 Co原创 2021-03-15 15:31:13 · 928 阅读 · 0 评论 -
Elasticsearch 集群压力测试
文章目录1. 压力测试2. 测试目标 & 测试数据3. 测试脚本4. ES Rally 简介5. Rally 的安装以及入门6. Rally 基本概念讲解7. Benchmark Reports8. 运行一个测试9. 什么是压测的流程10. 自定义 & 分布式测试11. 实例:比较不同的版本的性能12. 实例:比较不同 Mapping 的性能13. 实例:测试现有集群的性能1. 压力测试压力测试的目的容量规划 / 性能优化 / 版本间性能比较 / 性能问题诊断确定系统稳定性,考察原创 2021-03-15 15:00:00 · 1657 阅读 · 1 评论 -
Elasticsearch 提升集群写性能
提高写入性能的方法写性能优化的目标:增大写吞吐量(Events Per Second),越高越好客户端:多线程,批量写可以通过性能测试,确定最佳文档数量多线程:需要观察是否有 HTTP 429 返回,实现 Retry 以及线程数量的自动调节服务器端:单个性能问题,往往是多个因素造成的。需要先分解问题,在单个节点上进行调整并 且结合测试,尽可能压榨硬件资源,以达到最高吞吐量使用更好的硬件。观察 CPU / IO Block线程切换 / 堆栈状况服务器端优化写入性能的一些手段降低 IO原创 2021-03-15 11:40:00 · 528 阅读 · 0 评论 -
Elasticsearch 提升集群读性能
尽量 Denormalize 数据Elasticsearch != 关系型数据库尽可能 Denormalize 数据,从而获取最佳的性能使用 Nested 类型的数据。查询速度会慢几倍使用 Parent / Child 关系。查询速度会慢几百倍数据建模尽量将数据先行计算,然后保存到 Elasticsearch 中。尽量避免查询时的 Script 计算尽量使用 Filter Context,利用缓存机制,减少不必要的算分结合 profile,explain API 分析慢查询的问题,持续原创 2021-03-15 11:05:17 · 282 阅读 · 0 评论 -
Elasticsearch docker-compose部署hot、warm、cold的elasticsearch集群
version: '2.2'services: cerebro: image: lmenezes/cerebro:0.8.3 container_name: hwc_cerebro ports: - "9000:9000" command: - -Dhosts.0.host=http://elasticsearch:9200 networks: - hwc_es7net kibana: image: docker.原创 2021-03-15 10:35:40 · 397 阅读 · 0 评论 -
Elasticsearch 解决集群 Yellow 与 Red 的问题
集群健康度分片健康红:至少有一个主分片没有分配黄:至少有一个副本没有分配绿:主副本分片全部正常分配索引健康:最差的分片的状态集群健康:最差的索引的状态Health 相关的 APIGET _cluster/health集群的状态(检查 节点数量)GET _cluster/health?level=indices所有索引的健康状态 (查看有问题的索引GET _cluster/health/my_index单个索引的健康状态(查看具体的索引)GET _cl原创 2021-03-12 17:55:22 · 1051 阅读 · 0 评论 -
Elasticsearch 诊断集群的潜在问题
文章目录1. 集群运维所面临的挑战2. 集群绿色,是否意味着足够好3. 为什么要诊断集群的潜在问题4. eBay Diagnostic Tool5. 集群中索引的诊断6. 阿里云 – EYOU 智能运维工具7. 诊断 Shard 数8. 磁盘容量估算9. 多维度检测,构建自己的诊断工具1. 集群运维所面临的挑战用户集群数量多,业务场景差异大使用与配置不当,优化不够如何让用户更加高效和正确的使用 ES如何让用户更全面的了解自己的集群的使用状况发现问题滞后,需要防患于未然需要 “有迹可循”,原创 2021-03-12 17:17:54 · 389 阅读 · 0 评论 -
Elasticsearch 监控 Elasticsearch 集群
文章目录1. Elasticsearch Stats 相关的 API2. Elasticsearch Task API3. The Index & Query Slow Log4. 如何创建监控 Dashboard5. demo1. Elasticsearch Stats 相关的 APIElasticsearch 提供了多个监控相关的 APINode Stats: _nodes/statsCluster Stats: _cluster/statsIndex Stats: index_n原创 2021-03-12 17:03:41 · 414 阅读 · 0 评论 -
Elasticsearch 生产环境常用配置和上线清单
文章目录1. Development vs. Production Mode2. Bootstrap Checks3. JVM 设定4. 集群的 API 设定5. 系统设置6. 最佳实践:网络7. 最佳实践:内存设定计算实例8. 最佳实践:存储9. 最佳实践:服务器硬件10. 集群设置:Throttles 限流11. 集群设置:关闭 Dynamic Indexes12. 集群安全设定1. Development vs. Production Mode从 ES 5 开始,支持 Development 和原创 2021-03-12 16:53:28 · 461 阅读 · 0 评论 -
Elasticsearch 一键部署Elasticsearch集群
https://www.elastic.co/cn/cloud/原创 2021-03-12 15:48:57 · 338 阅读 · 0 评论